[논문 리뷰] MmWave Radar and Vision Fusion for Object Detection in Autonomous Driving: A Review

Zhiqing Wei, Fengkai Zhang외 4명|arXiv (Cornell University)|2021. 08. 06.

Advanced Neural Network Applications참고 문헌 77인용 수 5

한 줄 요약

이 논문은 자율주행 차량에서 3차원 물체 검출을 위한 mmWave 레이더와 시각 융합 기술을 검토하며, 융합 방법을 데이터 수준, 특징 수준, 결정 수준의 접근 방식으로 분류한다. 레이더(악기상 환경에서의 강건성)와 시각( бог rich한 질감 및 형태 세부 정보)의 상보적 강점을 강조하며, 향후 융합 추세로 라이다-시각 융합과 다중 모odal 센서 기반 기술을 논의하여 검출 정확도와 강건성을 향상시킨다.

ABSTRACT

With autonomous driving developing in a booming stage, accurate object detection in complex scenarios attract wide attention to ensure the safety of autonomous driving. Millimeter wave (mmWave) radar and vision fusion is a mainstream solution for accurate obstacle detection. This article presents a detailed survey on mmWave radar and vision fusion based obstacle detection methods. First, we introduce the tasks, evaluation criteria, and datasets of object detection for autonomous driving. The process of mmWave radar and vision fusion is then divided into three parts: sensor deployment, sensor calibration, and sensor fusion, which are reviewed comprehensively. Specifically, we classify the fusion methods into data level, decision level, and feature level fusion methods. In addition, we introduce three-dimensional(3D) object detection, the fusion of lidar and vision in autonomous driving and multimodal information fusion, which are promising for the future. Finally, we summarize this article.

연구 동기 및 목표

• 자율주행 차량에서의 물체 검출을 위한 mmWave 레이더와 시각 융합 방법에 대한 종합적인 조사를 제공하는 것.
• 악기상 환경, 가림, 다양한 물체 크기 변화 등 복잡한 주행 상황에서의 과제를 분석하는 것.
• 데이터 수준, 특징 수준, 결정 수준 통합을 포함한 융합 전략을 분류하고 비교하는 것.
• 3차원 물체 검출의 역할과 라이다를 시각 및 레이더와 융합하여 인식 능력을 향상시키는 방법을 검토하는 것.
• 다양한 정보 융합이 향후 자율주행 인식 시스템의 강건성을 향상시키는 데 유망한 방향으로 탐색하는 것.

제안 방법

• 논문은 mmWave 레이더와 시각 융합에 관한 기존 문헌을 체계적으로 검토하며, 센서 배치, 캘리브레이션, 융합 전략에 중점을 둔다.
• 융합 기법을 세 가지 수준으로 분류한다: 데이터 수준(원시 신호의 조기 융합), 특징 수준(딥 페처의 연결), 결정 수준(검출 결과의 융합).
• 레이더 포인트 클라우드와 카메라 특징을 활용하여 3차원 공간에서 경계 상자 추정을 위한 3차원 물체 검출 방법을 분석한다.
• 라이다-시각 융합 기법을 검토하며, 라이다를 이용해 이미지 기반 검출 네트워크의 물체 제안을 생성하는 방식을 포함한다.
• 원시 레이더, 시각, 라이다 데이터를 별개의 감각 모odal로 간주하여 공동 처리하는 방식으로 다중 모달 융합을 다룬다.
• 표준 평가 지표인 mAP, IoU, MaxF 점수를 사용하여 성능을 평가하며, KITTI와 같은 기준 데이터셋을 참조한다.

실험 결과

연구 질문

• RQ1 악기상 환경과 가림 조건에서 mmWave 레이더와 시각은 어떻게 상호 보완적인 역할을 하는가?
• RQ2 레이더-시각 시스템에서 데이터 수준, 특징 수준, 결정 수준 융합 간의 주요 차이점과 상충 요소는 무엇인가?
• RQ3 mmWave 레이더와 시각 데이터 융합을 통해 3차원 물체 검출은 어떻게 향상될 수 있는가?
• RQ4 라이다-시각 융합은 자율주행에서 검출 정확도와 강건성을 높이는 데 어떤 역할을 하는가?
• RQ5 다중 모달 정보 융합은 자율주행 인식 시스템에서의 과제와 기회는 무엇인가?

주요 결과

• mmWave 레이더는 dense한 안개, 비, 눈과 같은 악기상 환경에서도 신뢰할 수 있는 검출 성능 유지를 할 수 있으며, 이는 시각 센서의 성능 저하와 대비된다.
• 공간 주의력 융합(Spatial Attention Fusion, SAF)을 사용하는 특징 수준 융합 방법은 레이더와 시각 특징을 효과적으로 정렬함으로써 검출 정확도 향상을 보였다.
• 포인트 클라우드 기반 제안을 사용하는 라이다-시각 융합 방법은 KITTI 데이터셋에서 도로 세그먼테이션 작업에서 MaxF 점수 96.03%를 기록하였다.
• 레이더와 시각의 데이터 수준 융합은 원시 센서 신호를 조기에 융합함으로써 더 많은 정보를 유지하고 검출 일관성을 향상시킨다.
• 후처리된 레이더 출력이 아닌 원시 레이더 데이터를 시각과 융합하는 다중 모달 융합은 처리된 레이더 출력을 사용하는 것보다 더 많은 환경 정보를 유지한다.
• DCNN 및 완전 컨volutional 네트워크(FCNs)를 활용한 딥 러닝 기반 융합 네트워크는 전통적인 수작업 특징 방법보다 물체 분류 및 검출 작업에서 뛰어난 성능을 보였다.