[논문 리뷰] K-Radar: 4D Radar Object Detection for Autonomous Driving in Various Weather Conditions

Dong-Hee Paek, Seung-Hyun Kong외 1명|arXiv (Cornell University)|2022. 06. 16.

Advanced SAR Imaging Techniques인용 수 37

한 줄 요약

이 논문은 다양한 기상 조건에서 3D 객체 검출을 위한 대규모 4D 레이더 텐서 데이터셋인 KAIST-Radar(K-Radar)를 소개하고, 높이 정보가 결정적이며 4DRT가 악조건에서 강건성을 제공한다는 baseline NN을 제시한다.

ABSTRACT

Unlike RGB cameras that use visible light bands (384$\sim$769 THz) and Lidars that use infrared bands (361$\sim$331 THz), Radars use relatively longer wavelength radio bands (77$\sim$81 GHz), resulting in robust measurements in adverse weathers. Unfortunately, existing Radar datasets only contain a relatively small number of samples compared to the existing camera and Lidar datasets. This may hinder the development of sophisticated data-driven deep learning techniques for Radar-based perception. Moreover, most of the existing Radar datasets only provide 3D Radar tensor (3DRT) data that contain power measurements along the Doppler, range, and azimuth dimensions. As there is no elevation information, it is challenging to estimate the 3D bounding box of an object from 3DRT. In this work, we introduce KAIST-Radar (K-Radar), a novel large-scale object detection dataset and benchmark that contains 35K frames of 4D Radar tensor (4DRT) data with power measurements along the Doppler, range, azimuth, and elevation dimensions, together with carefully annotated 3D bounding box labels of objects on the roads. K-Radar includes challenging driving conditions such as adverse weathers (fog, rain, and snow) on various road structures (urban, suburban roads, alleyways, and highways). In addition to the 4DRT, we provide auxiliary measurements from carefully calibrated high-resolution Lidars, surround stereo cameras, and RTK-GPS. We also provide 4DRT-based object detection baseline neural networks (baseline NNs) and show that the height information is crucial for 3D object detection. And by comparing the baseline NN with a similarly-structured Lidar-based neural network, we demonstrate that 4D Radar is a more robust sensor for adverse weather conditions. All codes are available at https://github.com/kaist-avelab/k-radar.

연구 동기 및 목표

• 다양한 기상 및 도로 조건에서 3D 바운딩 박스 주석이 포함된 대규모 4DRT 기반 자율주행 데이터셋을 제공한다.
• 4DRT에서 높이 정보가 3D 객체 검출에 중요하다는 것을 보여준다.
• 악조건에서 4DRT 기반 인지의 강건성을 라이다 기반 시스템과 비교하여 보여준다.
• 4DRT 인지 연구를 향상시키기 위한 baseline 신경망 및 개발 도구를 공개한다.

제안 방법

• 4D 파워 측정값(Doppler, Range, Azimuth, Elevation)과 함께 35K 프레임의 4DRT 데이터를 캡처하고 주석을 달아 3D 바운딩 박스를 제공합니다.
• 보조 다중 모달 센서를 제공합니다(64-channel LiDAR, 128-channel LiDAR, 360-degree stereo cameras, RTK-GPS/IMU).
• 주석 및 보정 가능하도록 BFS-2D 히트맵을 통해 4DRT를 시각화합니다.
• 높이 정보를 포함한(3D-SCB 백본) 하나, 높이 정보를 포함하지 않는(2D-DCB 백본) 하나의 기본 신경망 네트워크를 개발합니다.
• 다양한 기상 조건에서 4DRT 기반 탐지기를 lidar 기반 베이스라인과 비교합니다.
• 4DRT 기반 인지를 위한 라벨링/보정/시각화 개발 키트를 보정하고 제공합니다.

실험 결과

연구 질문

• RQ1 높이 정보를 보존한 상태에서 4DRT 기반 표현으로 정확한 3D 객체 검출이 가능할까?
• RQ2 악조건에서 4DRT 기반 인지는 라이다 기반 방법과 비교하여 어떻게 성능이 나타날까?
• RQ3 높이 정보 포함이 3D 및 BEV 검출 성능에 미치는 영향은 무엇인가?
• RQ4 커뮤니티가 개발 키트를 활용하여 4DRT 기반 자율주행 연구를 가속화하려면 어떻게 해야 하는가?

주요 결과

• 높이 정보를 포함한 4DRT 기반 베이스라인은 높이 없는 변종보다 3D AP 및 BEV AP를 더 높게 달성합니다(AP3D: 47.44% vs 40.12%; APBEV: 58.39% vs 50.67%).
• 4DRT의 높이 정보가 3D 객체 검출 성능을 크게 향상시킵니다.
• 악조건에서 4DRT 기반 탐지는 견고한 성능을 유지하며, 유사한 조건에서 종종 LiDAR 기반 방법보다 성능이 우수합니다.
• RTNH(높이와 3D-SCB 백본 포함)는 높이 없는 RTN(2D-DCB 백본)보다 GPU 메모리를 덜 사용합니다.
• 4DRT 기반 탐지기는 날씨 조건 전반에 걸쳐 강건성을 보이며, 진눈깨비/강설은 LiDAR보다 4DRT에 덜 영향을 줍니다.