[논문 리뷰] RCBEVDet++: Toward High-accuracy Radar-Camera Fusion 3D Perception Network

Zhiwei Lin, Zhe Liu외 3명|arXiv (Cornell University)|2024. 09. 08.

Infrared Target Detection Methodologies인용 수 4

한 줄 요약

이 논문은 레이더-카메라 융합 3차원 인식 프레임워크인 RCBEVDet++를 제안한다. 이는 특수 설계된 레이더 특징 추출기인 RadarBEVNet과 희소 융합을 갖춘 교차 attention 융합 모듈(CAMF)을 통해 다중 시야 카메라 기반 3차원 검출 성능을 향상시킨다. nuScenes에서 최신 기술 수준(SOTA) 성능을 달성하여, 테스트 시 증강 또는 앙상블 없이 ViT-L 백본을 사용할 때 3차원 객체 검출에서 72.73 NDS 및 67.34 mAP를 기록한다.

ABSTRACT

Perceiving the surrounding environment is a fundamental task in autonomous driving. To obtain highly accurate perception results, modern autonomous driving systems typically employ multi-modal sensors to collect comprehensive environmental data. Among these, the radar-camera multi-modal perception system is especially favored for its excellent sensing capabilities and cost-effectiveness. However, the substantial modality differences between radar and camera sensors pose challenges in fusing information. To address this problem, this paper presents RCBEVDet, a radar-camera fusion 3D object detection framework. Specifically, RCBEVDet is developed from an existing camera-based 3D object detector, supplemented by a specially designed radar feature extractor, RadarBEVNet, and a Cross-Attention Multi-layer Fusion (CAMF) module. Firstly, RadarBEVNet encodes sparse radar points into a dense bird's-eye-view (BEV) feature using a dual-stream radar backbone and a Radar Cross Section aware BEV encoder. Secondly, the CAMF module utilizes a deformable attention mechanism to align radar and camera BEV features and adopts channel and spatial fusion layers to fuse them. To further enhance RCBEVDet's capabilities, we introduce RCBEVDet++, which advances the CAMF through sparse fusion, supports query-based multi-view camera perception models, and adapts to a broader range of perception tasks. Extensive experiments on the nuScenes show that our method integrates seamlessly with existing camera-based 3D perception models and improves their performance across various perception tasks. Furthermore, our method achieves state-of-the-art radar-camera fusion results in 3D object detection, BEV semantic segmentation, and 3D multi-object tracking tasks. Notably, with ViT-L as the image backbone, RCBEVDet++ achieves 72.73 NDS and 67.34 mAP in 3D object detection without test-time augmentation or model ensembling.

연구 동기 및 목표

• 레이더와 카메라 데이터 간의 상당한 모odal 차이와 공간적 비일치로 인해 레이더-카메라 융합을 수행하는 데 도전하는 것.
• 레이더 크로스 섹션(RCS)과 희소 포인트 클라우드와 같은 레이더 고유 특성을 고려한 레이더 전용 특징 추출기 설계.
• Bird's Eye View(BEV) 공간에서 레이더 및 카메라 특징을 정렬하고 융합하는 강력한 교차 attention 기반 융합 메커니즘 개발.
• 쿼리 기반 다중 시야 검출기 및 BEV 세그멘테이션, 3차원 다중 객체 추적과 같은 더 넓은 인식 작업을 지원하기 위해 프레임워크 확장.
• 실세계 자율 주행 시나리오에서 다양한 백본 아키텍처와 검출기 설계에 대한 일반화 능력 입증.

제안 방법

• RadarBEVNet은 희소 레이더 포인트에서 포인트 기반 및 트랜스포머 기반 표현을 추출하기 위해 이중 스트림 인코더를 사용한다.
• 인젝션 및 익스트랙션 모듈이 이중 스트림 표현을 융합한 후, 객체 크기 및 분포를 모델링하기 위해 RCS 인식 산산이 흩어지는 방식을 사용해 BEV 공간으로 투영한다.
• CAMF 모듈은 변형 가능 교차 어텐션을 활용해 레이더 및 카메라 BEV 특징을 정렬하여 공간적 비일치를 보정한다.
• 채널 및 공간 융합 레이어가 다중 모odal 특징을 통합하여 검출 성능 향상.
• RCBEVDet++는 쿼리 기반 검출 헤드를 지원하기 위해 CAMF에 희소 융합을 통합하여 기능을 강화하고, 더 넓은 작업 적응성을 가능하게 한다.
• 프레임워크는 플러그 앤 플레이 방식으로, LSS 기반 및 트랜스포머 기반 검출기 포함 기존의 카메라 기반 3차원 인식 모델과 호환된다.

Figure 1: Overall pipeline of RCBEVDet. Firstly, multi-view images are encoded and transformed into image BEV features. Concurrently, radar point clouds are processed by the proposed RadarBEVNet to extract radar BEV features. Subsequently, features from both radar and cameras are dynamically aligned

실험 결과

연구 질문

• RQ1 레이더와 카메라 특징 간의 본질적 모달 및 공간적 차이에도 불구하고 BEV 공간에서 효과적으로 정렬할 수 있는 방법은 무엇인가?
• RQ2 LiDAR 기반 인코더에 영향을 받은 레이더 전용 특징 추출기가 RCS 인식을 통합할 경우, 3차원 인식 성능 향상에 얼마나 기여하는가?
• RQ3 레이더-카메라 BEV 융합에서 단순 연결 또는 합산보다 교차 어텐션 기반 융합 메커니즘이 더 우수한 성능을 내는가?
• RQ4 제안된 방법이 다양한 백본 아키텍처(CNN 및 트랜스포머)와 검출기 설계(LSS 및 트랜스포머 기반)에 대해 얼마나 일반화되는가?
• RQ5 3차원 객체 검출 외에도 BEV 세그멘테이션 및 3차원 다중 객체 추적과 같은 다양한 인식 작업을 지원할 수 있는가?

주요 결과

• RCBEVDet++는 ViT-L을 이미지 백본으로 사용할 때, 테스트 시 증강 또는 모델 앙상블 없이 nuScenes에서 3차원 객체 검출에서 72.73 NDS 및 67.34 mAP를 달성한다.
• ResNet-18, ResNet-50, Swin-T, DLA34를 포함한 다양한 백본 아키텍처에서 기준 성능을 4.9 NDS 및 4.8–10.2 mAP 향상시킨다.
• LSS 기반 검출기의 경우, BEVDet은 5.6 NDS 향상, BEVDepth는 4.9 NDS 향상.
• 트랜스포머 기반 검출기의 경우, RCBEVDet++는 5.6–5.9 NDS 향상과 함께 mAP는 8.3–8.7 향상하여 암묵적 3차원 위치 학습에 더 큰 이점을 제공함.
• 모든 테스트된 모델, 즉 StreamPETR 및 SparseBEV를 포함해 검출기 아키텍처 전반에 걸쳐 우수한 일반화 성능 확보.
• RCBEVDet++는 nuScenes 벤치마크에서 3차원 객체 검출, BEV 세그멘테이션, 3차원 다중 객체 추적 분야에서 새로운 최신 기술 수준 성능 기록.

(a)