[논문 리뷰] HVDetFusion: A Simple and Robust Camera-Radar Fusion Framework

Kai Lei, Zhan Chen외 2명|arXiv (Cornell University)|2023. 07. 21.

Advanced Neural Network Applications인용 수 4

한 줄 요약

HVDetFusion는 자율주행을 위한 3D 객체 검출을 위한 새로운 분리형 카메라-레이더 융합 프레임워크로, 카메라 전용 추론을 위한 BevDet4D 기반 백본을 활용하고, 공간-시간 우선 정보를 통해 레이더 데이터를 융합하여 잡음 감소를 달성한다. nuScenes 테스트 세트에서 SOTA인 67.4% NDS를 기록하며, 보행자 및 교통봉과 같은 소형 객체에서 두드러진 성능 향상을 보였다.

ABSTRACT

In the field of autonomous driving, 3D object detection is a very important perception module. Although the current SOTA algorithm combines Camera and Lidar sensors, limited by the high price of Lidar, the current mainstream landing schemes are pure Camera sensors or Camera+Radar sensors. In this study, we propose a new detection algorithm called HVDetFusion, which is a multi-modal detection algorithm that not only supports pure camera data as input for detection, but also can perform fusion input of radar data and camera data. The camera stream does not depend on the input of Radar data, thus addressing the downside of previous methods. In the pure camera stream, we modify the framework of Bevdet4D for better perception and more efficient inference, and this stream has the whole 3D detection output. Further, to incorporate the benefits of Radar signals, we use the prior information of different object positions to filter the false positive information of the original radar data, according to the positioning information and radial velocity information recorded by the radar sensors to supplement and fuse the BEV features generated by the original camera data, and the effect is further improved in the process of fusion training. Finally, HVDetFusion achieves the new state-of-the-art 67.4\% NDS on the challenging nuScenes test set among all camera-radar 3D object detectors. The code is available at https://github.com/HVXLab/HVDetFusion

연구 동기 및 목표

• 순수 카메라 및 카메라-레이더 융합 추론을 모두 지원하는 유연하고 강력하며 효율적인 다중 모odal 3D 객체 검출 프레임워크를 개발하는 것.
• 이전 융합 방법이 카메라 스트림 운영을 위해 레이더 입력을 반드시 필요로 하는 한계를 해결하여, 독립적인 카메라 성능을 보장하는 것.
• 공간적 및 반경 속도 우선 정보를 효과적으로 활용하여 레이더 데이터를 융합함으로써, 특히 소형 및 도전적인 객체의 검출 정확도를 향상시키는 것.
• LiDAR와 같은 고비용 센서를 사용하지 않고도, 카메라와 레이더 센서만으로 도전적인 nuScenes 벤치마크에서 SOTA 성능을 달성하는 것.

제안 방법

• 순수 카메라 추론을 위한 BevDet4D 기반 스트림과 별도의 레이더 융합 스트림을 갖춘 이중 스트림, 분리형 아키텍처를 채택한다.
• 레이더에서 유도된 공간적 및 반경 속도 우선 정보를 활용해, 융합 전에 원시 레이더 검출 결과의 잡음 제거를 수행한다.
• 학습 중에 레이더 향상 특징과 카메라 기반 BEV 특징을 유연한 교차 attention 메커니즘을 통해 융합한다.
• 운동 및 속도 추정 향상을 위해 8개의 향후 프레임을 활용한 다중 프레임 시간 모델링 전략을 적용한다.
• 강력한 특징 표현을 위해 고성능 백본(예: ConvNeXt-Base, Internimage-Base)과 고해상도 입력(640×1600)을 활용한다.
• 학습 효율성과 성능 최적화를 위해 COCO 사전 학습 및 아블레이션 기반 하이퍼파rameter 튜닝을 적용한다.

실험 결과

연구 질문

• RQ1 분리형 카메라-레이더 융합 프레임워크는 레이더 융합을 효과적으로 구현하면서도 강력한 독립 카메라 성능을 유지할 수 있는가?
• RQ2 위치 및 반경 속도 우선 정보를 포함한 레이더 우선 정보는 BEV 특징 품질 향상과 잡음 감소에 어떤 영향을 미치는가?
• RQ3 다중 프레임 입력을 통한 시간 모델링 및 백본 선택은 카메라-레이더 융합에서 3D 객체 검출 정확도에 어떤 영향을 미치는가?
• RQ4 고해상도 입력 및 사전 학습은 보행자 및 장애물과 같은 소형 객체의 검출 성능 향상에 어느 정도 기여하는가?

주요 결과

• HVDetFusion는 모든 카메라-레이더 3D 객체 검출기 중에서 nuScenes 테스트 세트에서 새로운 SOTA인 67.4% NDS를 달성했다.
• BevDet-Gamma 대비 트럭 검출 정확도가 4.7% 향상되었고, 버스는 5.8%, 오토바이는 5.6% 향상되었다.
• CRN 대비 보행자 검출 mAP가 8.6% 높고, 교통봉은 7.8%, 장애물은 12.1% 높아져 소형 객체에서 뚜렷한 성능 향상을 보였다.
• 레이더 융합으로 인해 카메라 전용 추론(NDS 55.7%)에서 NDS가 65.2%로 상승하여 레이더 융합 모듈의 효과를 입증했다.
• ConvNeXt-Base 또는 Internimage-Base 백본을 사용할 경우 NDS가 58.7%로 상승하여 강력한 특징 추출기의 유용성을 입증했다.
• 256×704 대비 640×1600의 고해상도 입력을 사용할 경우 NDS가 5.4% 향상되어 공간적 세부 정보의 중요성을 입증했다.