[논문 리뷰] SqueezeSegV3: Spatially-Adaptive Convolution for Efficient Point-Cloud Segmentation

Chenfeng Xu, BoRui Wu외 5명|arXiv (Cornell University)|2020. 04. 03.

Remote Sensing and LiDAR Applications참고 문헌 62인용 수 28

한 줄 요약

이 논문은 입력에 의존하는 주의 맵을 기반으로 LiDAR 이미지의 다양한 공간 위치에 맞게 컨볼루션 필터를 적응시키는 일반적이고 효율적인 프레임워크인 공간적 적응형 컨볼루션(SAC)을 제안한다. 적응형 필터를 학습 가능한 주의 맵과 고정된 가중치로 분해함으로써, 콘텐츠 인식형이고 공간적으로 변화하는 특징 추출이 가능해지며, 속도 손실를 최소화하면서 SemanticKITTI에서 포인트 클라우드 세그멘테이션 정확도를 크게 향상시킨다. 결과적으로 46.3%의 mIoU를 달성하여 이전 방법들보다 3.7% 향상되었다.

ABSTRACT

LiDAR point-cloud segmentation is an important problem for many applications. For large-scale point cloud segmentation, the extit{de facto} method is to project a 3D point cloud to get a 2D LiDAR image and use convolutions to process it. Despite the similarity between regular RGB and LiDAR images, we discover that the feature distribution of LiDAR images changes drastically at different image locations. Using standard convolutions to process such LiDAR images is problematic, as convolution filters pick up local features that are only active in specific regions in the image. As a result, the capacity of the network is under-utilized and the segmentation performance decreases. To fix this, we propose Spatially-Adaptive Convolution (SAC) to adopt different filters for different locations according to the input image. SAC can be computed efficiently since it can be implemented as a series of element-wise multiplications, im2col, and standard convolution. It is a general framework such that several previous methods can be seen as special cases of SAC. Using SAC, we build SqueezeSegV3 for LiDAR point-cloud segmentation and outperform all previous published methods by at least 3.7% mIoU on the SemanticKITTI benchmark with comparable inference speed.

연구 동기 및 목표

• 구형 투영으로 인해 강한 공간적 특징 분포 이동을 보이는 LiDAR 이미지를 처리할 때 표준 컨볼루션에서 모델 용량이 제대로 활용되지 않는 문제를 해결하기 위해.
• 입력 콘텐츠에 기반해 공간 위치에 따라 필터를 동적으로 적응시키는 효율적이고 일반화 가능한 컨볼루션 메커니즘을 설계하기 위해.
• 추론 속도를 희생시키지 않고 SemanticKITTI와 같은 대규모 LiDATOR 기반 벤치마크에서 포인트 클라우드 세그멘테이션 정확도를 향상시키기 위해.
• 공간 적응성이 LiDAR 이미지 처리에 필수적임을 입증하고, SE 및 CBAM과 같은 전역 풀링 기반 방법들을 능가함을 보여주기 위해.

제안 방법

• SAC은 적응형 컨볼루션을 학습 가능한 주의 맵과 고정된 컨볼루션 가중치의 곱으로 분해하여, 공간적으로 변화하는 필터링을 가능하게 한다.
• 주의 맵은 입력 특징 맵에 한 층의 컨볼루션을 적용하여 각 위치에 대한 커널 가중치의 스케일링 인자를 생성한다.
• 표준 최적화된 연산—요소 간 곱셈, im2col, 표준 컨볼루션—을 사용하여 구현되어 계산 효율성이 보장된다.
• SAC은 이전 방법들을 일반화한다: SE, CBAM, PAC, CAM은 특정 주의 맵 설정 하에서 SAC의 특수 케이스로 나타난다.
• 경량 백본을 사용하고, 다운샘플링 제거 및 다층 손실과 같은 아키텍처 개선을 포함한 SqueezeSegV3에 프레임워크가 통합된다.
• 작은 커널 크기(예: 7×7)를 사용한 주의 맵 컨볼루션으로 효율적인 추론이 유지되며, 이는 최소한의 계산 오버헤드로 최적의 성능을 달성한다.

실험 결과

연구 질문

• RQ1 RGB 이미지와 시각적으로 유사함에도 불구하고 표준 컨볼루션은 왜 LiDAR 이미지에서 성능이 열등한가?
• RQ2 LiDAR 이미지의 특징 분포에서 발생하는 공간적 변화에 대응해 컨볼루션 필터를 어떻게 적응시킬 수 있는가?
• RQ3 기존의 주의 기반 컨볼루션 모듈을 통합하고 향상시킬 수 있는 일반적이고 효율적인 프레임워크를 설계할 수 있는가?
• RQ4 주목적 메커니즘을 초월한 아키텍처적 수정은 대규모 포인트 클라우드 작업에서 세그멘테이션 정확도를 더욱 향상시킬 수 있는가?

주요 결과

• SqueezeSegV3에 SAC-ISK를 적용한 결과, SemanticKITTI 벤치마크에서 46.3%의 mIoU를 달성하여 이전에 발표된 모든 방법들보다 최소 3.7% 이상 높은 성능을 기록하였다.
• 공간적 및 커널 단위 주의를 모두 통합한 SAC-ISK 버전이 가장 높은 성능을 기록하여, 다차원 적응성의 중요성을 입증하였다.
• 주의 맵 컨볼루션에 7×7 커널을 사용할 경우 가장 높은 정확도를 기록하였으며, 더 작은(1×1, 3×3) 및 더 큰(5×5) 설정보다 뛰어났다.
• 마지막 두 개의 다운샘플링 레이어를 제거하면 mIoU가 3.9점 향상되어, 특징 해상도가 LiDAR 세그멘테이션에 매우 중요함을 보여주었다.
• 다층 손실을 추가하면 mIoU가 1.5점 향상되며, SAC-ISK와 조합할 경우 추가로 2.3점의 성능 향상이 있었다.
• 제안된 SAC 프레임워크는 기존 방법들을 일반화한다: SE, CBAM, PAC, CAM은 모두 특수한 주의 맵 설정 하에서 SAC의 특수 케이스이며, SAC 버전은 일관되게 그들을 능가한다.