[논문 리뷰] A New Wave in Robotics: Survey on Recent mmWave Radar Applications in Robotics

Kyle Harlow, Hyesu Jang외 3명|arXiv (Cornell University)|2023. 05. 02.

Advanced SAR Imaging Techniques인용 수 4

한 줄 요약

이 종합 검토는 안개, 먼지 등 악천후 조건에서 카메라와 라이다보다 우수한 성능을 보이는 밀리미터파 레이더의 증가하는 역할을 탐색한다. 국소화, 맵핑, 물체 탐지, 의미 분할 등 응용 분야를 검토하며, FMCW 레이더의 강인성과 도전적인 환경에서 융합 또는 단독 사용 가능성을 강조한다.

ABSTRACT

We survey the current state of millimeterwave (mmWave) radar applications in robotics with a focus on unique capabilities, and discuss future opportunities based on the state of the art. Frequency Modulated Continuous Wave (FMCW) mmWave radars operating in the 76--81GHz range are an appealing alternative to lidars, cameras and other sensors operating in the near visual spectrum. Radar has been made more widely available in new packaging classes, more convenient for robotics and its longer wavelengths have the ability to bypass visual clutter such as fog, dust, and smoke. We begin by covering radar principles as they relate to robotics. We then review the relevant new research across a broad spectrum of robotics applications beginning with motion estimation, localization, and mapping. We then cover object detection and classification, and then close with an analysis of current datasets and calibration techniques that provide entry points into radar research.

연구 동기 및 목표

• 카메라와 라이다와 같은 전통적 센서에 비해 뛰어난 특성을 지닌 밀리미터파 레이더의 현재 응용 상태를 분석하는 것.
• 안개, 먼지,烟 등 시각적 열화 환경에서 밀리미터파 레이더가 뛰어난 성능을 발휘하는 주요 로봇 공학 응용 분야를 특정하는 것.
• 레이더 기반 국소화, 맵핑, 물체 탐지, 의미 분류 분야에서의 최근 알고리즘적 진전을 검토하는 것.
• 6DoF 국소화, 3D 레이더 맵핑, 온라인 校정, 차량 및 보행자 외의 의미 레이블링 등 열린 연구 과제를 부각하는 것.
• KITTI와 같은 카메라 및 라이다용 표준 기준 및 데이터셋과 유사하게 레이더 연구를 가속화하기 위한 표준화된 기준 및 데이터셋 개발을 촉구하는 것.

제안 방법

• 76–81 GHz 대역에서 작동하는 FMCW 레이더에 중점을 두고, 최근 로봇 공학 분야에서의 밀리미터파 레이더 응용에 관한 문헌을 종합하는 것.
• 로봇 공학에 관련된 레이더 원리(거리, 도플러 속도, 각도 해상도 등)를 분석하고, 인식 작업에 미치는 영향을 고려하는 것.
• 운동 추정, 국소화, 맵핑, 물체 탐지, 의미 분류 등 분야별로 레이더 응용을 분류하고 검토하는 것.
• 기존 데이터셋(예: Boreas)과 校정 기법(오프라인 및 잠재적 온라인 校정 방법 포함)을 평가하는 것.
• 데이터 밀도, 해상도, 시각적 열화에 대한 강인성, 운영 범위 측면에서 레이더 성능을 카메라 및 라이다와 비교하는 것.
• 향후 연구 방향으로는 패노프틱 레이더 분할, 신경 레이디언스 필드와의 융합, 계획 수립을 위한 향상된 3D 맵핑 등을 제안하는 것.

실험 결과

연구 질문

• RQ1 안개, 먼지, 연기 등 시각적 열화 환경에서 밀리미터파 레이더가 카메라 및 라이다보다 어떻게 뛰어난 성능을 발휘하는가?
• RQ2 특히 6DoF 및 장기적 강인성 측면에서 레이더 기반 국소화 및 맵핑의 핵심 알고리즘 과제와 최근 진전은 무엇인가?
• RQ3 밀리미터파 레이더가 물체 분류 및 패노프틱 분할을 포함한 의미 인식에 얼마나 활용될 수 있는가?
• RQ4 특히 거리 및 속도에 대한 온라인 내재 校정을 포함한 레이더 센서 校정의 열린 과제는 무엇인가?
• RQ5 포인트 클라우드를 초월해 전체 레이더 웨이브폼을 어떻게 활용하여 벽 뒤 감지 또는 향상된 3D 재구성과 같은 새로운 기능을 실현할 수 있는가?

주요 결과

• 밀리미터파 레이더는 더 긴 파장을 지녀 안개, 먼지, 연기를 통과할 수 있어 카메라 및 라이다가 실패하는 시각적 열화 환경에서도 강인한 성능을 발휘한다.
• 76–81 GHz 대역에서 작동하는 FMCW 밀리미터파 레이더는 높은 해상도와 장거리 탐지 능력을 제공하며, 운동 추정 및 맵핑에 적합한 고밀도 데이터 생성이 가능하다.
• 레이더 기반 국소화 시스템은 현재 약 10cm의 오차를 기록하고 있으나, 라이다의 약 5cm에 못 미치며, 더 나은 센서와 알고리즘을 통해 향상 여지가 있다.
• 2D 레이더 국소화는 정착되어 있으나, 고속 드론 및 동적 환경에서의 6DoF 레이더 국소화 문제는 여전히 열린 과제이다.
• 의미 레이더 인식은 새로운 분야로 떠오르고 있으며, 차량 및 보행자 분류에 대한 초기 연구가 진행 중이지만, 주거 및 병원과 같은 실내 환경의 광범위한 레이블링은 여전히 탐색 부족이다.
• Boreas 데이터셋과 같은 기준은 레이더 오도메트리 및 국소화 연구를 발전시키는 데 핵심적이며, 이들의 도입은 분야 내 연구 가속화를 이끌 것으로 기대된다.