[論文レビュー] CARRADA Dataset: Camera and Automotive Radar with Range-Angle-Doppler Annotations

Arthur Ouaknine, Alasdair Newson+3 more|arXiv (Cornell University)|May 4, 2020

Advanced Optical Sensing Technologies参考文献 41被引用数 10

ひとこと要約

本論文では、物体検出、セマンティックセグメンテーション、トラッキングのための、範囲-角度-Dopplerの豊富なアノテーションを備えた、同期化されたカメラおよび自動車レーダーのデータセットCARRADAを紹介する。カメラデータを活用した半自動アノテーションパイプラインを提示し、レーダー表現上でディープラーニングベースラインを評価した結果、特に範囲-Doppler空間において、密集したマスクと疎な点の両方で有望な性能を達成した。

ABSTRACT

High quality perception is essential for autonomous driving (AD) systems. To reach the accuracy and robustness that are required by such systems, several types of sensors must be combined. Currently, mostly cameras and laser scanners (lidar) are deployed to build a representation of the world around the vehicle. While radar sensors have been used for a long time in the automotive industry, they are still under-used for AD despite their appealing characteristics (notably, their ability to measure the relative speed of obstacles and to operate even in adverse weather conditions). To a large extent, this situation is due to the relative lack of automotive datasets with real radar signals that are both raw and annotated. In this work, we introduce CARRADA, a dataset of synchronized camera and radar recordings with range-angle-Doppler annotations. We also present a semi-automatic annotation approach, which was used to annotate the dataset, and a radar semantic segmentation baseline, which we evaluate on several metrics. Both our code and dataset are available online.

研究の動機と目的

• 自律走行のための、正確なアノテーションを備えた公開可能で高品質なレーダーデータセットの不足に対処すること。
• LiDARベースのアノテーションと比較してコストと時間を削減できる、カメラデータを活用した半自動アノテーション手法の開発。
• 生レーダー信号を用いた、物体検出、セマンティックセグメンテーション、トラッキングなどのレーダー指向の認識タスクのベンチマークを提供すること。
• 包括的で公開可能なデータセットとコードをリリースすることで、レーダーデータ向けのディープラーニングおよびマルチセンサーフュージョン分野の研究を促進すること。
• 密集および疎なアノテーションを用いて、生レーダー表現上でセマンティックセグメンテーションモデルを直接学習可能であることを実証すること。

提案手法

• 車両搭載のセットアップを用いて、前面を向いたカメラと77 GHzの自動車レーダーセンサを用いてデータを収集した。
• 同期化された動画と生レーダー信号を記録し、レーダー信号を範囲-角度および範囲-Doppler表現に処理した。
• カメラベースの物体検出と物理的制約（例：速度、サイズ）を用いて、物体の位置をレーダースペースに投影する半自動アノテーションパイプラインを開発した。
• 歩行者、車両、自転車の各オブジェクトに対して、トラッキング用に固有のIDを備えた、疎な点、バウンディングボックス、密集したマスクのアノテーションが含まれる。
• PyTorchを用いて単一GPU上で、セマンティックセグメンテーションアーキテクチャに基づくディープラーニングベースラインを、密集したマスクアノテーション上で学習した。
• 評価指標には、IoU、ピクセル精度、ピクセル再現率を用い、一貫性を確保するため3つのランダムシードで平均化した。

実験結果

リサーチクエスチョン

• RQ1 カメラデータに基づく半自動アノテーションパイプラインは、LiDARや手動ラベルなしで、正確で信頼性の高いレーダーアノテーションを生成できるか？
• RQ2 疎な点または密集したマスクアノテーションのみを用いて、ディープニューラルネットワークが生レーダー表現上でオブジェクトをセグメンテーションする能力はどの程度か？
• RQ3 セマンティックセグメンテーションタスクにおいて、範囲-Doppler表現と範囲-角度表現の間の性能差は何か？
• RQ4 アノテーションタイプ（密集したマスク対疎な点）の違いが、モデル評価および局所化精度に与える影響は何か？
• RQ5 レーダー信号の時間的ダイナミクスをどの程度活用すれば、レーダーデータにおける物体検出およびトラッキングの性能を向上させられるか？

主な発見

• 半自動アノテーションパイプラインは、カメラデータと物理的制約のみを用いて、正確なレーダーアノテーションを効果的に生成した。これにより、アノテーションコストと時間の大幅な削減が達成された。
• ディープラーニングベースラインは、密集したマスクアノテーションにおいて強力な性能を示し、範囲-Doppler表現において平均IoUが0.63、平均ピクセル精度が0.72を達成した。
• 疎な点アノテーションでは、密集したマスクよりも高い性能を示し、キーポイントの局所化精度が優れていることが示された。
• 範囲-Doppler表現は、レーダーセンサ出力におけるより優れた角度分解能のおかげで、範囲-角度表現を上回った。
• 時間情報を利用しなかったにもかかわらず、モデルは有望な結果を示した。これは、将来の時系列モデリング統合の強い可能性を示している。
• 背景カテゴリは、疎な点のアノテーションが不完全なため、評価が不可能であり、そのタイプの評価範囲が制限された。