[논문 리뷰] MmWave Radar and Vision Fusion based Object Detection for Autonomous Driving: A Survey

Zhiqing Wei, Fengkai Zhang외 4명|arXiv (Cornell University)|2021. 08. 06.

Advanced Neural Network Applications참고 문헌 49인용 수 2

한 줄 요약

이 종합 검토는 자율주행 차량에서 장애물 탐지에 대한 밀리미터파 레이더와 비전 융합 기술을 검토하며, 융합 방법을 데이터 수준, 특징 수준, 결정 수준으로 분류한다. 센서 배치, 캘리브레이션, 융합 워크플로우를 분석하여 복잡한 환경에서 레이더와 비전 간의 상호보완적 역할이 강력한 장애물 탐지에 기여함을 강조한다.

ABSTRACT

With autonomous driving developing in a booming stage, accurate object detection in complex scenarios attract wide attention to ensure the safety of autonomous driving. Millimeter wave (mmWave) radar and vision fusion is a mainstream solution for accurate obstacle detection. This article presents a detailed survey on mmWave radar and vision fusion based obstacle detection methods. Firstly, we introduce the tasks, evaluation criteria and datasets of object detection for autonomous driving. Then, the process of mmWave radar and vision fusion is divided into three parts: sensor deployment, sensor calibration and sensor fusion, which are reviewed comprehensively. Especially, we classify the fusion methods into data level, decision level and feature level fusion methods. Besides, we introduce the fusion of lidar and vision in autonomous driving in the aspects of obstacle detection, object classification and road segmentation, which is promising in the future. Finally, we summarize this article.

연구 동기 및 목표

• 자율주행 차량에서 밀리미터파 레이더와 비전 융합 방법에 대한 종합적인 검토를 제공하는 것.
• 융합의 세 핵심 단계인 센서 배치, 캘리브레이션, 융합 전략을 분석하는 것.
• 데이터 수준, 특징 수준, 결정 수준 융합 기법을 분류하고 비교하는 것.
• 라이adar와 비전의 융합 잠재력을 탐색하여 자율주행 시스템의 인식 능력을 향상시키는 것.
• 다중모odal 센서 융합 분야에서 현재의 과제와 향후 연구 방향을 요약하는 것.

제안 방법

• 본 논문은 자율주행 차량의 장애물 탐지 프레임워크를 체계적으로 검토하며, 주로 밀리미터파 레이더와 비전의 통합에 초점을 맞춘다.
• 융합 전략을 세 수준으로 분류한다: 데이터 수준 융합, 특징 수준 융합, 결정 수준 융합.
• 정확한 다중센서 정렬을 위한 필수적인 센서 설치 구성과 캘리브레이션 기법을 평가한다.
• 자율주행 연구에서 사용되는 데이터셋, 평가 지표, 벤치마킹 프로토콜을 검토한다.
• 레이더-비전 융합과 라이다-비전 융합을 비교하며, 각각의 장애물 탐지, 분류, 도로 세그멘테이션에서의 강점을 논의한다.
• 다양한 연구의 결과를 통합하여 현재 융합 기법의 추세와 격차를 파악한다.

실험 결과

연구 질문

• RQ1 밀리미터파 레이더와 비전 융합에서 데이터 수준, 특징 수준, 결정 수준 융합 기법의 성능과 복잡성은 어떻게 비교되는가?
• RQ2 자율주행 차량의 레이더-비전 시스템에서 센서 캘리브레이션과 설치에 있어 핵심 과제는 무엇인가?
• RQ3 정확도와 내구성 측면에서 라이다-비전 융합은 레이더-비전 융합보다 어떻게 다를까?
• RQ4 자율주행의 장애물 탐지 평가에 일반적으로 사용되는 평가 기준과 데이터셋은 무엇인가?
• RQ5 자율주행 인식 분야에서 다중모달 센서 융합의 향후 연구 방향은 무엇인가?

주요 결과

• 이 검토는 데이터 수준, 특징 수준, 결정 수준 융합을 주요 접근 방식으로 식별하며, 정확도와 계산 비용 간의 상충 관계가 각각 다르게 나타남을 확인한다.
• 정확한 장애물 탐지 구현을 위해서는 센서 캘리브레이션과 설치가 매우 중요하다.
• 특징 수준 융합은 공유 표현을 활용함으로써 결정 수준 융합보다 일반적으로 뛰어난 성능을 보인다.
• 라이다-비전 융합은 3차원 장애물 탐지 및 도로 세그멘테이션과 같은 고급 작업에서 강력한 잠재력을 보이며, 레이더-비전 융합보다는 아직 덜 연구되고 있다.
• 밀리미터파 레이더와 비전의 통합은 악천후 및 저조도 조건에서 탐지의 내구성을 향상시킨다.
• 논문은 레이더-비전 융합이 성숙하고 널리 보급되어 있지만, 향후 시스템은 라이다를 포함한 하이브리드 센서 아키텍처에서 유의미한 이점을 얻을 수 있을 것으로 결론 내린다.