[논문 리뷰] CenterFormer: Center-based Transformer for 3D Object Detection

Zixiang Zhou, Xiangchen Zhao외 3명|arXiv (Cornell University)|2022. 09. 12.

Advanced Neural Network Applications인용 수 10

한 줄 요약

CenterFormer는 LiDAR 점군에서 3차원 객체 검출을 위한 중심 기반 트랜스포머 네트워크를 제안하며, 학습 난이도와 계산 비용을 줄이기 위해 쿼리로 중심 특징 임베딩을 사용한다. Waymo 검증 세트에서 73.7% mAPH, 테스트 세트에서 75.6% mAPH를 기록하여 기존의 CNN 및 트랜스포머 기반 방법들을 능가하는 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Query-based transformer has shown great potential in constructing long-range attention in many image-domain tasks, but has rarely been considered in LiDAR-based 3D object detection due to the overwhelming size of the point cloud data. In this paper, we propose CenterFormer, a center-based transformer network for 3D object detection. CenterFormer first uses a center heatmap to select center candidates on top of a standard voxel-based point cloud encoder. It then uses the feature of the center candidate as the query embedding in the transformer. To further aggregate features from multiple frames, we design an approach to fuse features through cross-attention. Lastly, regression heads are added to predict the bounding box on the output center feature representation. Our design reduces the convergence difficulty and computational complexity of the transformer structure. The results show significant improvements over the strong baseline of anchor-free object detection networks. CenterFormer achieves state-of-the-art performance for a single model on the Waymo Open Dataset, with 73.7% mAPH on the validation set and 75.6% mAPH on the test set, significantly outperforming all previously published CNN and transformer-based methods. Our code is publicly available at https://github.com/TuSimple/centerformer

연구 동기 및 목표

• 대규모 LiDAR 점군에서 트랜스포머 기반 3차원 객체 검출의 학습 불안정성과 높은 계산 비용 문제를 해결하기 위해.
• 객체 수준의 어텐션을 활용하여 앵커 기반 3차원 검출에서 장거리 및 맥락적 특징 학습을 향상시키기 위해.
• 다중 프레임 특징 융합을 위해 교차 어텐션 메커니즘을 통해 검출의 강건성을 향상시키기 위해.
• 학습 가능한 쿼리 임베딩을 중심 특징 임베딩으로 대체하여 수렴 속도를 가속화하고 성능을 향상시키기 위해.

제안 방법

• 바이오트의 뷰(BEV) 특징 맵으로 LiDAR 점군을 인코딩하는 바이얼 기반 백본 네트워크.
• 다중 스케일 중심 제안 네트워크(CPN)가 초기 중심 위치를 예측하고 쿼리 입력으로 사용할 중심 특징 임베딩을 생성한다.
• 샘플된 키포인트 위치를 사용하여 다중 스케일 BEV 특징에서 특징을 집계하는 디지어블 크로스 어텐션 레이어를 갖는 트랜스포머 디코더.
• 쿼리 임베딩이 예측된 중심의 특징으로 초기화되어 객체 관련 영역에 집중된 어텐션을 가능하게 한다.
• 시간적으로 인접한 프레임의 특징과 쿼리 간의 교차 어텐션을 통해 다중 프레임 특징 융합을 달성한다.
• 학습 안정성과 일반화 성능 향상을 위해 코너 감독, IoU 보정, 페이드 증강의 조합을 사용한다.

실험 결과

연구 질문

• RQ1 중심 기반 쿼리 초기화가 대규모 LiDAR 점군에서 트랜스포머 기반 3차원 객체 검출의 학습 수렴과 성능 향상에 기여하는가?
• RQ2 학습 가능한 매개변수 쿼리에 비해 중심 특징 임베딩을 쿼리로 사용할 경우 검출 정확도와 학습 안정성 측면에서 어떤 차이가 있는가?
• RQ3 디지어블 크로스 어텐션은 3차원 검출에서 특징 집계를 유지하거나 향상시키면서 계산 비용을 얼마나 줄일 수 있는가?
• RQ4 교차 어텐션을 통한 다중 프레임 특징 융합은 순차적 LiDAR 스캔에서 검출 성능 향상에 얼마나 효과적인가?
• RQ5 보조 감독과 IoU 보정과 같은 학습 전략이 모델 수렴과 최종 mAPH에 어떤 영향을 미치는가?

주요 결과

• CenterFormer는 Waymo 오픈 데이터셋 검증 세트에서 73.7% mAPH, 테스트 세트에서 75.6% mAPH를 기록하여 단일 모델 성능 기준 최신 기술 수준을 수립한다.
• 학습 가능한 쿼리 매개변수 대비 중심 특징을 쿼리 임베딩으로 사용함으로써 mAPH가 1.5% 향상되어 더 나은 수렴과 특징 표현 능력을 입증한다.
• 자기 어텐션과 크로스 어텐션 레이어의 조합으로 성능이 67.0% mAPH로 향상되었으며, 디지어블 크로스 어텐션을 추가로 적용해 67.3% mAPH로 더욱 향상되었다.
• IoU 보정과 페이드 증강은 각각 1.4%와 0.7%의 mAPH 향상 기여를 하였으며, 디지어블 크로스 어텐션과 조합 시 특히 두드러진 성능 향상을 보였다.
• 엔드 투 엔드 세트 매칭 방식이 아닌 제안 기반 전략으로 학습한 모델는 68.7% mAPH를 기록하여 엔드 투 엔드 DETR 스타일 학습 방식보다 20% 이상 높은 성능을 달성했다.
• 시각화 결과 어텐션 메커니즘이 관련 객체 영역과 같은 클래스의 인접 객체에 집중하는 것으로 확인되어, 맥락적 및 장거리 종속성 학습 능력을 검증하였다.