[논문 리뷰] Dual Radar: A Multi-modal Dataset with Dual 4D Radar for Autonomous Driving

Xinyu Zhang, Li Wang외 12명|arXiv (Cornell University)|2023. 10. 11.

Advanced Optical Sensing Technologies인용 수 5

한 줄 요약

이 논문은 다양한 주행 조건에서 촬영한 두 개의 다른 센서—ARS548 RDI와 Arbe Phoenix—로부터 동기화되고 고해상도의 4D 레이더 데이터를 포함하는 대규모 다중 모odal 데이터셋인 Dual Radar를 소개한다. 이 데이터셋은 자율주행에서 4D 레이더 성능을 비교 분석할 수 있도록 하며, ARS548 RDI가 자전거 운전자를 감지하는 데에서 Arbe Phoenix보다 1.64% 높은 정확도를 보이며, LiDAR와의 다중 모달 융합이 특히 악천후 상황에서 3D 객체 탐지 성능을 크게 향상시킨다는 것을 입증한다.

ABSTRACT

Radar has stronger adaptability in adverse scenarios for autonomous driving environmental perception compared to widely adopted cameras and LiDARs. Compared with commonly used 3D radars, the latest 4D radars have precise vertical resolution and higher point cloud density, making it a highly promising sensor for autonomous driving in complex environmental perception. However, due to the much higher noise than LiDAR, manufacturers choose different filtering strategies, resulting in an inverse ratio between noise level and point cloud density. There is still a lack of comparative analysis on which method is beneficial for deep learning-based perception algorithms in autonomous driving. One of the main reasons is that current datasets only adopt one type of 4D radar, making it difficult to compare different 4D radars in the same scene. Therefore, in this paper, we introduce a novel large-scale multi-modal dataset featuring, for the first time, two types of 4D radars captured simultaneously. This dataset enables further research into effective 4D radar perception algorithms.Our dataset consists of 151 consecutive series, most of which last 20 seconds and contain 10,007 meticulously synchronized and annotated frames. Moreover, our dataset captures a variety of challenging driving scenarios, including many road conditions, weather conditions, nighttime and daytime with different lighting intensities and periods. Our dataset annotates consecutive frames, which can be applied to 3D object detection and tracking, and also supports the study of multi-modal tasks. We experimentally validate our dataset, providing valuable results for studying different types of 4D radars. This dataset is released on https://github.com/adept-thu/Dual-Radar.

연구 동기 및 목표

• 자율주행에서 서로 다른 4D 레이더 센서에 대한 비교 연구의 부족을 보완하기 위해 동기화되고 다중 모달인 데이터셋을 제공한다.
• 동일한 환경에서 두 가지 다른 4D 레이더 유형으로부터 데이터를 캡처함으로써 4D 레이더 인식 알고리즘에 대한 연구를 가능하게 한다.
• 도전적인 환경 조건에서 3D 객체 탐지, 추적 및 다중 모달 융합 작업을 지원한다.
• 점군 밀도와 노이즈 수준이 악천후 및 저시인성 상황에서 딥러닝 모델에 미치는 영향에 대한 실증적 증거를 제공한다.
• 다양한 센서 특성에 걸쳐 이질적인 4D 레이더 데이터를 처리할 수 있는 강력한 인식 시스템 개발을 촉진한다.

제안 방법

• 시험 차량에 두 대의 4D 레이더, LiDAR, 카메라, GNSS/IMU를 탑재하여 총 151개의 연속된 데이터 시퀀스(10,007개의 동기화 프레임)를 수집한다.
• 고정밀 시간 동기화와 센서 캘리브레이션을 활용하여 다양한 모odal 간 데이터를 정렬하며, LiDAR 점군에 대한 3D 바운딩 박스 주석도 포함한다.
• 낮/밤, 다양한 조도, 비, dense 안개, 눈, 복잡한 도심 및 고속도로 환경 등 다양한 조건에서 데이터를 캡처한다.
• LiDAR 점군에 일관된 3D 객체 주석을 적용하며, 이는 레이더 기반 탐지 성능 평가의 기준이 되는 진짜값으로 사용된다.
• LiDAR, 레이더, 카메라 데이터를 융합하는 다중 모달 융합 베이스라인(예: M2-Fusion, VFF)을 구현하여 성능 향상 효과를 평가한다.
• PointPillars와 RDIoU 모델을 사용하여 두 레이더 점군에 대해 탐지 성능을 평가하고, 센서 유형과 기상 조건 간 성능을 비교한다.

실험 결과

연구 질문

• RQ1 동일한 조건에서 ARS548 RDI와 Arbe Phoenix 레이더 간의 점군 밀도, 노이즈 수준, 탐지 성능에 차이가 있는가?
• RQ2 레이더 점군 품질(밀도 대 노이즈)이 악천후 상황에서 딥러닝 기반 3D 객체 탐지 및 추적에 어떤 영향을 미치는가?
• RQ3 LiDAR와 4D 레이더의 다중 모달 융합이 소형 또는 저금속 물체(예: 자전거 운전자, 보행자)의 탐지 정확도 향상에 얼마나 효과적인가?
• RQ4 비, 안개, 눈과 같은 도전적인 기상 조건에서 4D 레이더가 LiDAR를 초월할 수 있으며, 이는 다양한 레이더 모델에 따라 어떻게 달라지는가?
• RQ5 다른 센서 구성(예: ARS548 RDI 대 Arbe Phoenix)이 복잡한 주행 환경에서 인식 모델의 일반화 능력과 강건성에 어떤 영향을 미치는가?

주요 결과

• PointPillars 모델을 사용할 때 ARS548 RDI 레이더는 Arbe Phoenix 레이더보다 'Cyclist' 카테고리에서 1.64% 높은 탐지 정확도를 기록하여 저금속 물체 탐지에서 뛰어난 성능을 보였다.
• LiDAR와 ARS548 RDI 레이더를 융합하면 Arbe Phoenix 레이더와 융합한 경우보다 3D 객체 탐지 성능이 4.72% 향상되었으며, 특히 자전거 운전자 탐지에서 뚜렷한 향상이 있었다.
• M2-Fusion 모델은 LiDAR와 ARS548 RDI 레이더를 융합했을 때 PointPillars 단독 사용 대비 BEV 뷰에서 'Car' 객체 탐지 성능을 30.24% 향상시켰다.
• 비가 온 조건에서 RDIoU 모델은 LiDAR 데이터보다 Arbe Phoenix 레이더 데이터에서 BEV 탐지 성능이 14.78% 높게 나타나 레이더의 악천후 상황에서의 우수성을 보여주었다.
• 카메라와 LiDAR 데이터를 융합한 VFF 모델은 BEV 뷰에서 'Car' 카테고리에서 대부분의 단일 모달 모델보다 25.16% 높은 성능을 기록하여 다중 모달 융합의 가치를 입증했다.
• ARS548 RDI는 'Cyclist'와 'Car' 카테고리에서 뛰어난 성능을 보였지만, RDIoU 모델을 사용할 경우 Arbe Phoenix는 'Pedestrian' 탐지에서 더 높은 성능을 보이며 각 센서의 고유한 강점을 보여주었다.