[논문 리뷰] TransFusion: Robust LiDAR-Camera Fusion for 3D Object Detection with Transformers

Xuyang Bai, Zeyu Hu외 5명|arXiv (Cornell University)|2022. 03. 22.

Advanced Neural Network Applications인용 수 28

한 줄 요약

TransFusion은 소프트 어텐션과 이미지 가이드 쿼리 초기화를 활용하는 변환기 기반의 LiDAR-카메라 융합 접근법으로, 열악한 이미지 품질과 보정 오작동 하에서도 3D 객체를 견고하게 탐지합니다. nuScenes에서 최첨단 성능을 달성하고 3D 추적까지 확장합니다.

ABSTRACT

LiDAR and camera are two important sensors for 3D object detection in autonomous driving. Despite the increasing popularity of sensor fusion in this field, the robustness against inferior image conditions, e.g., bad illumination and sensor misalignment, is under-explored. Existing fusion methods are easily affected by such conditions, mainly due to a hard association of LiDAR points and image pixels, established by calibration matrices. We propose TransFusion, a robust solution to LiDAR-camera fusion with a soft-association mechanism to handle inferior image conditions. Specifically, our TransFusion consists of convolutional backbones and a detection head based on a transformer decoder. The first layer of the decoder predicts initial bounding boxes from a LiDAR point cloud using a sparse set of object queries, and its second decoder layer adaptively fuses the object queries with useful image features, leveraging both spatial and contextual relationships. The attention mechanism of the transformer enables our model to adaptively determine where and what information should be taken from the image, leading to a robust and effective fusion strategy. We additionally design an image-guided query initialization strategy to deal with objects that are difficult to detect in point clouds. TransFusion achieves state-of-the-art performance on large-scale datasets. We provide extensive experiments to demonstrate its robustness against degenerated image quality and calibration errors. We also extend the proposed method to the 3D tracking task and achieve the 1st place in the leaderboard of nuScenes tracking, showing its effectiveness and generalization capability.

연구 동기 및 목표

• LiDAR-카메라 융합이 저하된 이미지 조건과 보정 오작동에서 로버스트함의 과제를 조사한다.
• 트랜스포머 기반 융합 검출기가 LiDAR 쿼리와 이미지 특징 간의 소프트 어소시에이션을 수행하도록 제안한다.
• 초기 바운딩 박스 예측을 개선하기 위해 입력 의존적이고 카테고리 인지적인 객체 쿼리를 개발한다.
• 융합을 강화하기 위한 이미지 가이드 쿼리 초기화 및 지역성 편향 교차 어텐션 기법을 도입한다.
• nuScenes에서 최첨단 3D 탐지 성능을 보여주고 Waymo에서의 경쟁력 있는 결과 및 추적 능력을 보인다.

제안 방법

• 탐지 헤드로 두 층의 트랜스포머 디코더를 사용하며, 첫 번째 층은 LiDAR 특징으로부터 희소 객체 쿼리를 사용해 초기 3D 박스를 예측한다.
• SMCA를 통한 공간적 인접성에 guided된 객체 쿼리와 이미지 특징의 메모리 뱅크 간 교차 어텐션을 통한 소프트 어소시에이션 융합을 활용한다.
• LiDAR BEV와 축소된 이미지 특징을 융합하여 쿼리를 초기화하는 이미지 가이드 쿼리 초기화를 도입한다.
• 객체 쿼리를 입력 의존적이고 카테고리 인지적으로 만들고, 컨텍스트 추론을 위한 카테고리 임베딩을 도입한다.
• 두 단계로 학습한다: 먼저 LiDAR 전용으로 초기 박스를 예측하고, 그 다음 LiDAR-카메라 융합 및 쿼리 초기화를 통한 정제를 수행한다.
• 클래스ification, 회귀, IoU 항을 결합한 Hungarian 이분 매칭 기반 손실로 최적화한다.

실험 결과

연구 질문

• RQ1 저하된 이미지 품질과 센서 보정 오작동에 대해 LiDAR-카메라 융합을 어떻게 로버스트하게 만들 수 있는가?
• RQ2 소프트 어소시에이션을 가진 트랜스포머 기반 융합 헤드가 3D 객체 탐지에서 하드 어소시에이션 융합 방법을 능가할 수 있는가?
• RQ3 입력 의존적이고 카테고리 인지적인 객체 쿼리 및 이미지 가이드 초기화가 초기 제안 품질에 어떤 개선을 가져오는가?
• RQ4 지역성 편향 교차 어텐션(SMCA)이 융합의 효과성과 로버스트함에 어떤 영향을 미치는가?
• RQ5 이 접근이 단일 프레임 탐지를 넘어 3D 추적 작업까지 일반화되는가?

주요 결과

• TransFusion은 이전 방법들에 비해 nuScenes에서 최첨단 3D 탐지 성능을 달성한다.
• 두 단계 트랜스포머 디코더는 초기 LiDAR 기반 예측과 개선된 정확도를 위한 이미지 특징 융합을 가능하게 한다.
• SMCA를 가진 교차 어텐션을 통한 소프트 어소시에이션 융합은 저하된 이미지 품질과 보정 오차에 대한 강건성을 향상시킨다.
• 이미지 가이드 쿼리 초기화는 희소한 LiDAR 데이터에서 파악하기 어려운 객체를 탐지하는 데 도움이 된다.
• 이 방법은 3D 추적으로 확장되며 nuScenes 추적 리더보드에서 최상위를 달성한다.