[論文レビュー] Dual Radar: A Multi-modal Dataset with Dual 4D Radar for Autonomous Driving

Xinyu Zhang, Li Wang+12 more|arXiv (Cornell University)|Oct 11, 2023

Advanced Optical Sensing Technologies被引用数 5

ひとこと要約

本論文は、異なる走行状況下で収集された同期的で高解像度の4次元レーダー・データを備えた大規模なマルチモーダルデータセット「Dual Radar」を紹介する。2つの異なるセンサー（ARS548 RDI および Arbe Phoenix）からのデータを用い、自動運転における4Dレーダー性能の比較分析を可能にする。その結果、ARS548 RDI が自転車乗りの検出において1.64%高い精度を示し、LiDAR とのマルチモーダル融合により3Dオブジェクト検出性能が顕著に向上することが明らかになった。特に悪天候下でも顕著な効果が得られた。

ABSTRACT

Radar has stronger adaptability in adverse scenarios for autonomous driving environmental perception compared to widely adopted cameras and LiDARs. Compared with commonly used 3D radars, the latest 4D radars have precise vertical resolution and higher point cloud density, making it a highly promising sensor for autonomous driving in complex environmental perception. However, due to the much higher noise than LiDAR, manufacturers choose different filtering strategies, resulting in an inverse ratio between noise level and point cloud density. There is still a lack of comparative analysis on which method is beneficial for deep learning-based perception algorithms in autonomous driving. One of the main reasons is that current datasets only adopt one type of 4D radar, making it difficult to compare different 4D radars in the same scene. Therefore, in this paper, we introduce a novel large-scale multi-modal dataset featuring, for the first time, two types of 4D radars captured simultaneously. This dataset enables further research into effective 4D radar perception algorithms.Our dataset consists of 151 consecutive series, most of which last 20 seconds and contain 10,007 meticulously synchronized and annotated frames. Moreover, our dataset captures a variety of challenging driving scenarios, including many road conditions, weather conditions, nighttime and daytime with different lighting intensities and periods. Our dataset annotates consecutive frames, which can be applied to 3D object detection and tracking, and also supports the study of multi-modal tasks. We experimentally validate our dataset, providing valuable results for studying different types of 4D radars. This dataset is released on https://github.com/adept-thu/Dual-Radar.

研究の動機と目的

• 自動運転における異なる4Dレーダー・センサーの比較研究の不足を補うために、同期的でマルチモーダルなデータセットを提供すること。
• 同じシーンで異なる2種類の4Dレーダーを用いてデータを収集することで、4Dレーダー認識アルゴリズムの研究を可能にすること。
• 困難な環境条件下での3Dオブジェクト検出、トラッキング、マルチモーダル融合タスクを支援すること。
• 点群密度とノイズレベルが、悪天候や低視界状況下でのディープラーニングモデルに与える影響を実証的に示すこと。
• 異なるセンサー特性を有する異種の4Dレーダー・データを処理できる耐障害性の高い認識システムの開発を促進すること。

提案手法

• テスト車両に2台の4Dレーダー、LiDAR、カメラ、GNSS/IMUを搭載し、151の連続データシーケンス（10,007フレームの同期データ）を収集した。
• 高精度な時刻同期とセンサー補正を用いて、複数モodal間のデータを正確に整合させ、LiDAR点群に3次元バウンディングボックスのアノテーションを付与した。
• 昼間／夜間、照明状況の変化、雨、霧、雪、複雑な都市部および高速道路のシナリオなど、多様な走行条件でデータを収集した。
• LiDAR点群に一貫した3次元オブジェクトアノテーションを適用し、レーダー基盤の検出性能評価の基準としての地面真値を提供した。
• LiDAR、レーダー、カメラデータを統合するマルチモーダル融合ベースライン（例：M2-Fusion、VFF）を実装し、性能向上の有効性を評価した。
• PointPillarsおよびRDIoUモデルを用いて、両方のレーダー点群上で検出性能を評価し、センサータイプおよび天候条件ごとの結果を比較した。

実験結果

リサーチクエスチョン

• RQ1 同じ条件下で、ARS548 RDI と Arbe Phoenix の2種類の4Dレーダー・センサーの点群密度、ノイズレベル、検出性能にどのような差が生じるか？
• RQ2 点群品質（密度対ノイズ）が、悪天候下におけるディープラーニングベースの3Dオブジェクト検出およびトラッキングに与える影響は何か？
• RQ3 LiDAR と4Dレーダーのマルチモーダル融合は、自転車や歩行者など小規模・低金属のオブジェクトの検出精度をどれほど向上させるか？
• RQ4 雨、霧、雪などの悪天候条件下で、4DレーダーがLiDARを上回る性能を示すことは可能か？また、これは異なるレーダー・モデルによってどのように変化するか？
• RQ5 異なるセンサーカンfigレーション（例：ARS548 RDI 対 Arbe Phoenix）が、複雑な走行環境における認識モデルの一般化性および耐障害性に与える影響は何か？

主な発見

• PointPillarsモデルを用いた結果、ARS548 RDI レーダーは Arbe Phoenix レーダーに比べて「自転車乗り」カテゴリで1.64%高い検出精度を示し、低金属オブジェクトに対する優れた性能を示した。
• LiDAR と ARS548 RDI レーダーを融合させた場合、Arbe Phoenix レーダーと融合させた場合に比べ、3Dオブジェクト検出性能が4.72%向上した。特に自転車乗りの検出が顕著に改善された。
• M2-Fusion モデルは、LiDAR と ARS548 RDI レーダーを融合させた場合、PointPillars 単体に比べてビューアー空間（BEV）での「車両」オブジェクト検出性能が30.24%向上した。
• 雨天時において、RDIoU モデルは Arbe Phoenix レーダー点群データに対して LiDAR データよりも14.78%高いBEV検出性能を示し、悪天候下におけるレーダーの優位性を裏付けた。
• カメラとLiDARデータを統合したVFFモデルは、BEVビューの「車両」カテゴリで、大多数の単一モーダルモデルを25.16%上回った。これはマルチモーダル融合の価値を示している。
• ARS548 RDI は「自転車乗り」と「車両」カテゴリで優れた性能を示したが、RDIoU モデルを用いた場合、Arbe Phoenix は「歩行者」検出において優れた性能を示した。これはセンサーごとの特徴の差を示している。