[논문 리뷰] 4D Millimeter-Wave Radar in Autonomous Driving: A Survey

Zeyu Han, Jiahao Wang외 6명|arXiv (Cornell University)|2023. 06. 07.

Advanced Optical Sensing Technologies인용 수 13

한 줄 요약

자율주행을 위한 4D mmWave 레이더에 대한 포괄적 고찰로 이론, 신호 처리, 보정, 학습 기반 포인트 클라우드 생성, 데이터셋, 인지, 로컬라이제이션, 매핑 및 향후 추세를 다룬다.

ABSTRACT

The 4D millimeter-wave (mmWave) radar, proficient in measuring the range, azimuth, elevation, and velocity of targets, has attracted considerable interest within the autonomous driving community. This is attributed to its robustness in extreme environments and the velocity and elevation measurement capabilities. However, despite the rapid advancement in research related to its sensing theory and application, there is a conspicuous absence of comprehensive surveys on the subject of 4D mmWave radar. In an effort to bridge this gap and stimulate future research, this paper presents an exhaustive survey on the utilization of 4D mmWave radar in autonomous driving. Initially, the paper provides reviews on the theoretical background and progress of 4D mmWave radars, encompassing aspects such as the signal processing workflow, resolution improvement approaches, and extrinsic calibration process. Learning-based radar data quality improvement methods are present following. Then, this paper introduces relevant datasets and application algorithms in autonomous driving perception, localization and mapping tasks. Finally, this paper concludes by forecasting future trends in the realm of 4D mmWave radar in autonomous driving. To the best of our knowledge, this is the first survey specifically dedicated to the 4D mmWave radar in autonomous driving.

연구 동기 및 목표

• 4D mmWave 레이더의 자율주행 연구를 촉진하고 정리하며 그 이점과 현재 연구 격차를 강조한다.
• 4D mmWave 레이더의 이 theoretical 배경, 신호 처리 흐름, 해상도 개선 기법을 요약한다.
• 레이더 포인트 클라우드 생성을 위한 이용 가능한 데이터셋과 학습 기반 방법을 요약한다.
• 4D 레이더를 이용한 인지, 로컬라이제이션, 매핑 알고리즘을 검토하고 향후 방향을 논의한다.

제안 방법

• 4D mmWave 레이더 신호 처리 흐름과 데이터 포맷을 설명한다.
• 하드웨어 및 소프트웨어 수준에서의 해상도 개선 접근법을 설명한다.
• 4D 레이다 시스템의 외재 보정 방법을 요약한다.
• 학습 기반 레이다 포인트 클라우드 생성 방법과 데이터셋을 검토한다.
• 4D 레이다를 이용한 인지, 로컬라이제이션, 매핑 응용을 범주화하고 논의한다.
• 4D 레이다 기술의 향후 동향과 연구 방향을 논의한다.

Figure 1: The traditional signal processing flow and corresponding data formats of 4D mmWave radars [ 5 ] [ 6 ] [ 7 ]

실험 결과

연구 질문

• RQ1 자율주행에서의 4D mmWave 레이더의 이론적 및 처리 파이프라인은 무엇인가?
• RQ2 4D 레이더 포인트클라우드 생성 및 다운스트림 태스크를 위한 데이터셋과 학습 기반 방법은 무엇이 존재하는가?
• RQ3 4D 레이다 데이터를 어떻게 인지, 로컬라이제이션, 매핑에 활용하고, 다른 센서와의 융합 전략은 무엇이 있는가?
• RQ4 자율주행을 위한 4D mmWave 레이다 연구의 향후 방향과 과제는 무엇인가?

주요 결과

• 본 연구가 자율주행 분야의 4D mmWave 레이더에 특화된 최초의 고찰임을 확인한다.
• 4D mmWave 레이더의 신호 처리 흐름, 데이터 포맷 및 해상도 개선 기술을 개략한다.
• 외재 보정 방법과 학습 기반 레이다 포인트 클라우드 생성 접근법을 검토한다.
• 4D 레이다의 인지, 로컬라이제이션, 매핑에서의 데이터셋 및 응용에 대한 통합적 시각을 제공한다.
• 전지점 구름 데이터 전 활용 및 데이터셋 확장을 포함한 다중 모달 융합 전략과 향후 추세를 논의한다.
• 4D 레이다가 악조건에서도 강건성을 보이고 고도, 거리, 방위, 속도 측정이 가능하다는 점을 언급한다.

Figure 2: Timeline of 4D mmWave radar point cloud generation, datasets, perception, localization and mapping algorithms