[論文レビュー] K-Radar: 4D Radar Object Detection for Autonomous Driving in Various Weather Conditions

Dong-Hee Paek, Seung-Hyun Kong+1 more|arXiv (Cornell University)|Jun 16, 2022

Advanced SAR Imaging Techniques被引用数 37

ひとこと要約

本論文は KAIST-Radar (K-Radar) を紹介する。多様な気象条件での 3D オブジェクト検出のための大規模な 4D レーダータensor（4DRT）データセットであり、基礎となる NN が高さ情報の重要性と 4DRT が悪条件下での頑健性を示す。

ABSTRACT

Unlike RGB cameras that use visible light bands (384$\sim$769 THz) and Lidars that use infrared bands (361$\sim$331 THz), Radars use relatively longer wavelength radio bands (77$\sim$81 GHz), resulting in robust measurements in adverse weathers. Unfortunately, existing Radar datasets only contain a relatively small number of samples compared to the existing camera and Lidar datasets. This may hinder the development of sophisticated data-driven deep learning techniques for Radar-based perception. Moreover, most of the existing Radar datasets only provide 3D Radar tensor (3DRT) data that contain power measurements along the Doppler, range, and azimuth dimensions. As there is no elevation information, it is challenging to estimate the 3D bounding box of an object from 3DRT. In this work, we introduce KAIST-Radar (K-Radar), a novel large-scale object detection dataset and benchmark that contains 35K frames of 4D Radar tensor (4DRT) data with power measurements along the Doppler, range, azimuth, and elevation dimensions, together with carefully annotated 3D bounding box labels of objects on the roads. K-Radar includes challenging driving conditions such as adverse weathers (fog, rain, and snow) on various road structures (urban, suburban roads, alleyways, and highways). In addition to the 4DRT, we provide auxiliary measurements from carefully calibrated high-resolution Lidars, surround stereo cameras, and RTK-GPS. We also provide 4DRT-based object detection baseline neural networks (baseline NNs) and show that the height information is crucial for 3D object detection. And by comparing the baseline NN with a similarly-structured Lidar-based neural network, we demonstrate that 4D Radar is a more robust sensor for adverse weather conditions. All codes are available at https://github.com/kaist-avelab/k-radar.

研究の動機と目的

• 多様な天候と道路条件の下で、3D境界ボックスアノテーションを備えた自動運転向けの大規模な 4DRT ベースのデータセットを提供する。
• 4DRT における高さ情報が 3D オブジェクト検出にとって重要であることを示す。
• 悪天候下での 4DRT ベースの知覚の頑健性を、Lidar ベースのシステムと比較して示す。
• 4DRT 知覚研究を進展させるための基礎的なニューラルネットワークと開発ツールを公開する。

提案手法

• 4D パワー測定値（ドップラー、レンジ、方位角、仰角）を含む 4DRT データの 35K フレームを取得・アノテーションし、3D バウンディングボックスを付与する。
• 補助的なマルチモーダルセンサーを提供（64 チャンネル LiDAR、128 チャンネル LiDAR、360 度ステレオカメラ、RTK-GPS/IMU）。
• アノテーションとキャリブレーションを可能にするため、4DRT を BFS-2D ヒートマップで可視化する。
• 4DRT を直接入力として扱う 2 つの基礎的なニューラルネットワークを開発する。高度情報あり（3D-SCB バックボーン）と高度情報なし（2D-DCB バックボーン）。
• さまざまな天候条件下で 4DRT ベースの検出器を lidar ベースの基準と比較する。
• 4DRT ベースの知覚のためのラベリング/キャリブレーション/可視化の開発キットを調整・提供する。

実験結果

リサーチクエスチョン

• RQ1 高さ情報を保持したまま、4DRT ベースの表現は正確な 3D オブジェクト検出を可能にするか？
• RQ2 悪天候下での 4DRT ベースの知覚は、Lidar ベースの手法と比較してどのように機能するか？
• RQ3 3D および BEV 検出性能に対する高さ情報の包含の影響はどの程度か？
• RQ4 コミュニティは開発キットを活用して、4DRT ベースの自動運転研究をどのように加速できるか？

主な発見

ベースライン NN	AP3D [%]	AP_BEV [%]	GPU RAM [MB]
RTNH	47.44	58.39	421
RTN	40.12	50.67	520

• 高さ付きの 4DRT ベースの基準は、高さなしの変種より 3D AP および BEV AP が高い（AP3D: 47.44% 対 40.12%；APBEV: 58.39% 対 50.67%）。
• 4DRT における高さ情報は 3D オブジェクト検出性能を著しく向上させる。
• 悪天候下で、4DRT ベースの検出は頑健な性能を維持し、同様の条件でしばしば LiDAR ベースの手法を上回る。
• RTNH（高さと 3D-SCB バックボーンを搭載）は、高さなしの RTN（2D-DCB バックボーン）より GPU メモリを少なく使用する。
• 4DRT ベースの検出器は天候条件を通じて頑健さを示し、みぞれ/大雪は LiDAR よりも 4DRT に与える影響が小さい。