[논문 리뷰] Camera-Radar Perception for Autonomous Vehicles and ADAS: Concepts, Datasets and Metrics

Felipe Manfio Barbosa, Fernando Santos Osório|arXiv (Cornell University)|2023. 03. 08.

Infrared Target Detection Methodologies인용 수 5

한 줄 요약

이 종합 검토는 자율주행차 및 ADAS를 위한 카메라-레이더 인식에 대해 센서 특성, 딥러닝 기반의 탐지 및 세분화, 주요 데이터셋, 평가 지표 및 과제를 포함해 종합적인 개요를 제공한다. 레이더의 미개척 잠재력과 융합 기법의 중요성을 강조하며, 데이터 불균형과 표준화 부족을 주요 문제로 지적하고, 실제 주행 환경에서의 안전성을 향상시키기 위해 강력하고 다양한, 균형 잡힌 데이터셋의 필요성을 주장한다.

ABSTRACT

One of the main paths towards the reduction of traffic accidents is the increase in vehicle safety through driver assistance systems or even systems with a complete level of autonomy. In these types of systems, tasks such as obstacle detection and segmentation, especially the Deep Learning-based ones, play a fundamental role in scene understanding for correct and safe navigation. Besides that, the wide variety of sensors in vehicles nowadays provides a rich set of alternatives for improvement in the robustness of perception in challenging situations, such as navigation under lighting and weather adverse conditions. Despite the current focus given to the subject, the literature lacks studies on radar-based and radar-camera fusion-based perception. Hence, this work aims to carry out a study on the current scenario of camera and radar-based perception for ADAS and autonomous vehicles. Concepts and characteristics related to both sensors, as well as to their fusion, are presented. Additionally, we give an overview of the Deep Learning-based detection and segmentation tasks, and the main datasets, metrics, challenges, and open questions in vehicle perception.

연구 동기 및 목표

• 자율주행차 및 ADAS에서 레이더 기반 및 카메라-레이더 융합 인식에 대한 종합적인 검토가 부족한 점을 보완하기 위해.
• 특히 악천후 조건에서 카메라 및 레이더 센서의 개별적 강점과 한계를 분석하고, 융합 시의 성능을 평가하기 위해.
• 차량 인식에 사용되는 주요 딥러닝 기반의 탐지 및 세분화 방법을 정리하고 평가하기 위해.
• 기존 데이터셋의 요약, 모odalities, 악조건 조건 커버리지, 데이터 불균형 및 주석 작업 부담과 같은 과제를 정리하기 위해.
• 평가 지표의 표준화 부족 및 취약한 도로 이용자 및 저소득 지역의 데이터셋에서의 부재 등 주요 열린 과제를 식별하기 위해.

제안 방법

• ADAS 및 자율주행차 응용을 중심으로 카메라 및 레이더 인식에 관한 문헌을 체계적으로 검토한 바탕으로.
• 카메라의 조도 민감도와 레이더의 악조건에서의 내구성 등 센서 특성의 분류 및 분석.
• 객체 탐지 및 이미지 세분화를 위한 딥러닝 모델의 제시 및 비교를 통해 다중모달 융합 기법에 중점을 두고.
• 주요 공개 데이터셋의 수집 및 평가를 통해 데이터 모달리티, 크기, 주석 품질, 과도한 시나리오 커버리지 등을 분석.
• 분야에서 사용되는 성능 평가 지표의 분석을 통해 mAP, IoU의 중요성과 표준화된, 규제 기반 평가 프로토콜의 필요성을 강조.
• 데이터셋 편향, 주석 비용, 지역적 표현 격차 등에 기반한 핵심 과제의 식별.

실험 결과

연구 질문

• RQ1 자율주행차 인식에서 카메라 및 레이더 센서의 핵심 장점과 한계는 무엇이며, 특히 저조도 및 악조건 기상 조건에서 어떻게 작용하는가?
• RQ2 현재의 딥러닝 기반 탐지 및 세분화 방법이 레이더 데이터와 융합되었을 때의 성능은 어떠한가? 주요 기술적 과제는 무엇인가?
• RQ3 카메라-레이더 인식 분야에서 가장 대표적이고 널리 사용되는 데이터셋은 무엇이며, 데이터 불균형과 실제 세계의 다양성 문제를 어떻게 다루거나 다루지 못하고 있는가?
• RQ4 다양한 데이터셋과 벤치마크 간 평가 지표의 표준화 수준은 어느 정도이며, 이는 방법 비교에 어떤 영향을 미치는가?
• RQ5 자율주행차 및 ADAS를 위한 강력하고 일반화 가능하며 안전한 인식 시스템 개발을 위한 가장 시급한 열린 과제는 무엇인가?

주요 결과

• 저조도 및 악조건 기상 조건에서의 내구성 향상 잠재력을 지닌 레이더 기반 및 카메라-레이더 융합 인식은 여전히 미개척 상태이며, 잠재력이 크다.
• 데이터 불균형 문제가 심각한 편이며, 대부분의 대규모 데이터셋에서 '자동차' 클래스가 지배적이며, 자전거 타는 이동자와 같은 취약한 도로 이용자는 심각하게 부족하게 표현되어 있다.
• 세분화 작업에서의 주석 부담은 탐지 데이터셋 대비 대규모 세분화 데이터셋의 부족을 초래하며, 이 현상은 '주석 데이터셋의 저주'로 불린다.
• 대부분의 데이터셋은 선진국에서 수집되어, 비구조적 인프라를 가진 저소득 및 농촌 도로 환경의 표현이 빈약하다.
• 벤치마크 간 평가 지표의 표준화 부족으로 인해 인식 시스템 성능 비교가 공정하고 일관되게 이뤄지지 않고 있다.
• 향후 발전은 균형 잡히고 다양한 데이터셋 개발 및 표준화된, 규제 기반 평가 지표의 도입에 달려 있으며, 이는 안전하고 강력한 자율주행 시스템 개발을 가속화할 것이다.