[논문 리뷰] Radar-Camera Fusion for Object Detection and Semantic Segmentation in Autonomous Driving: A Comprehensive Review

Shanliang Yao, Runwei Guan외 9명|arXiv (Cornell University)|2023. 04. 20.

Advanced Neural Network Applications참고 문헌 310인용 수 7

한 줄 요약

이 종합적인 리뷰는 자율주행 차량의 물체 탐지 및 의미 분할을 위한 최신 레이더-카메라 융합 기법을 종합적으로 분석하며, 융합 원리, 데이터 표현 방식, 데이터셋, 방법론을 다룹니다. '왜, 무엇을, 어디서, 언제, 어떻게 융합할 것인지'와 같은 핵심 질문을 다루며, 개방형 환경 인식과 엣지 장치에의 구현과 같은 열린 과제를 밝히고, 데이터셋과 융합 방법 비교를 위한 인터랙티브 웹사이트를 제공합니다.

ABSTRACT

Driven by deep learning techniques, perception technology in autonomous driving has developed rapidly in recent years, enabling vehicles to accurately detect and interpret surrounding environment for safe and efficient navigation. To achieve accurate and robust perception capabilities, autonomous vehicles are often equipped with multiple sensors, making sensor fusion a crucial part of the perception system. Among these fused sensors, radars and cameras enable a complementary and cost-effective perception of the surrounding environment regardless of lighting and weather conditions. This review aims to provide a comprehensive guideline for radar-camera fusion, particularly concentrating on perception tasks related to object detection and semantic segmentation.Based on the principles of the radar and camera sensors, we delve into the data processing process and representations, followed by an in-depth analysis and summary of radar-camera fusion datasets. In the review of methodologies in radar-camera fusion, we address interrogative questions, including "why to fuse", "what to fuse", "where to fuse", "when to fuse", and "how to fuse", subsequently discussing various challenges and potential research directions within this domain. To ease the retrieval and comparison of datasets and fusion methods, we also provide an interactive website: https://radar-camera-fusion.github.io.

연구 동기 및 목표

• 자율주행 주행 인식을 위한 레이더-카메라 융합 기법에 대한 체계적이고 종합적인 리뷰를 제공하는 것.
• 레이더와 카메라 데이터를 융합할 때 '왜, 무엇을, 어디서, 언제, 어떻게' 융합할 것인지에 대한 핵심 연구 질문을 다루는 것.
• 레이더 및 카메라 데이터의 표현 방식, 신호 처리, 융합 방법론을 깊이 있게 분석하는 것.
• 센서 한계, 데이터셋 부족, 개방형 환경 인식과 같은 레이더-카메라 융합의 주요 과제를 식별하는 것.
• 다중 작업 학습, 4D 레이더, 효율적인 엣지 장치 배포와 같은 방향을 제안함으로써 향후 연구를 이끄는 것.

제안 방법

• 융합 수준(조기, 후기, 하이브리드)과 모odal 상호작용 전략에 기반해 레이더-카메라 융합 기법을 계열적으로 분류하고 분석하는 것.
• 비트 주파수, 도플러 처리, I/Q 데이터로부터의 포인트 클라우드 형성까지의 레이더 신호 처리 파이프라인을 검토하는 것.
• 레이더-카메라 융합을 위한 기존 데이터셋(예: nuScenes, KITTI, nuTonomy)을 평가하며, 데이터 가용성, 애너테이션 품질, 희소성 문제를 강조하는 것.
• 다섯 가지 핵심 질문인 '왜, 무엇을, 어디서, 언제, 어떻게 융합할 것인지'에 답함으로써 융합을 위한 체계적인 프레임워크를 제안하는 것.
• 데이터셋과 융합 방법을 카탈로그화하고 비교할 수 있도록 인터랙티브 웹사이트(https://radar-camera-fusion.github.io)를 도입하는 것.
• 에지 장치에 융합 모델을 구현하기 위한 모델 압축 및 가속 기법(예: 프루닝, 양자화)을 논의하는 것.

실험 결과

연구 질문

• RQ1 어두운 환경이나 비오듯한 악조건에서도 레이더-카메라 융합이 자율주행 차량의 안정적인 인식을 위해 필수적인 이유는 무엇인가요?
• RQ2 레이더와 카메라 모달을 융합하기 위한 최적의 데이터 표현 방식과 융합 수준는 무엇인가요?
• RQ3 레이더-카메라 융합은 2D 및 3D 물체 탐지 및 의미 분할 작업에 어떻게 효과적으로 적용될 수 있나요?
• RQ4 센서 한계, 데이터셋 부족, 개방형 환경 일반화와 같은 레이더-카메라 융합의 주요 과제는 무엇인가요?
• RQ5 자원이 제한된 엣지 장치에서 실시간 자율주행 시스템에 융합 모델을 효율적으로 구현하는 방법은 무엇인가요?

주요 결과

• 레이더-카메라 융합은 레이더가 시야가 떨어지는 상황에서도 안정적인 속도 및 거리 추정 기능을 제공하고, 카메라가 풍부한 의미 정보를 제공함으로써 전천후, 전시간 인식이 가능하게 합니다.
• 레이더-카메라 융합을 위한 기존 데이터셋은 크기, 애너테이션 품질, 레이더 데이터의 밀도 측면에서 제한되어 있어, 방법 개발 및 벤치마킹에 악영향을 미칩니다.
• LiDAR 기반 융합 방법은 포인트 클라우드의 희소성과 신호 특성의 근본적 차이로 인해 레이더에 일반화하기 어려운 편입니다.
• 4D 레이더 센서는 더 밀도 높은 포인트 클라우드와 더 높은 해상도를 제공함으로써 물체 기하학적 추정 성능을 향상시키는 유망한 대안으로 부상하고 있습니다.
• 레이더-카메라 융합에서의 다중 작업 학습은 효율성과 성능 향상을 위한 공유 특징 학습을 가능하게 하므로 유망하지만 아직 탐색되지 않은 분야입니다.
• 융합 모델의 엣지 장치에의 배포 문제는 여전히 주요 과제이며, 단 한 개의 연구만이 Jetson AGX TX2에서 11 Hz의 추론 속도를 보고하여, 모델 압축 및 최적화의 필요성을 강조하고 있습니다.