[論文レビュー] RADIATE: A Radar Dataset for Automotive Perception.

Marcel Sheeny, Emanuele De Pellegrin+4 more|arXiv (Cornell University)|Oct 18, 2020

Advanced Neural Network Applications参考文献 20被引用数 38

ひとこと要約

RADIATE は、都市部、高速道路、住宅地など多様な走行状況と、濃霧、雪、雨などの多様な天候条件下で高分解能のレーダー画像を収録した大規模かつ公開可能なレーダー・データセットです。8つのカテゴリ（例：車両、歩行者、自転車乗り）にわたり20万件を超えるアノテーション付きの道路利用者を含んでおり、特にカメラやLiDARが機能を失う悪悪天候下でも、レーダーを用いた物体検出、トラッキング、シーン理解の研究を強固に可能にします。

ABSTRACT

Datasets for autonomous cars are essential for the development and benchmarking of perception systems. However, most existing datasets are captured with camera and LiDAR sensors in good weather conditions. In this paper, we present the RAdar Dataset In Adverse weaThEr (RADIATE), aiming to facilitate research on object detection, tracking and scene understanding using radar sensing for safe autonomous driving. RADIATE includes 3 hours of annotated radar images with more than 200K labelled road actors in total, on average about 4.6 instances per radar image. It covers 8 different categories of actors in a variety of weather conditions (e.g., sun, night, rain, fog and snow) and driving scenarios (e.g., parked, urban, motorway and suburban), representing different levels of challenge. To the best of our knowledge, this is the first public radar dataset which provides high-resolution radar images on public roads with a large amount of road actors labelled. The data collected in adverse weather, e.g., fog and snowfall, is unique. Some baseline results of radar based object detection and recognition are given to show that the use of radar data is promising for automotive applications in bad weather, where vision and LiDAR can fail. RADIATE also has stereo images, 32-channel LiDAR and GPS data, directed at other applications such as sensor fusion, localisation and mapping. The public dataset can be accessed at this http URL.

研究の動機と目的

• 自動運転における悪天候下を含めた大規模で公開可能なレーダー・データセットの不足に対処すること。
• 道路利用者の高分解能レーダー画像と密な正確なアノテーションを提供し、物体検出およびトラッキングの研究を支援すること。
• 視覚センサーやLiDARが性能を低下させるような、濃霧、雪、夜間などの困難な環境におけるレーダー認識の研究を可能にすること。
• 同期されたステレオ画像、32チャネルのLiDAR、GPSデータを含めることで、センサーフュージョン、ローカライゼーション、マッピングの研究を支援すること。

提案手法

• 複数の天候および走行状況下で、公共道路を走行する車両に搭載した高分解能4Dイメージングレーダー・センサを用いてレーダー・データを収集する。
• 各レーダー画像に、8つのカテゴリ（例：車両、歩行者、自転車乗り）の道路利用者を4万件以上、バウンディングボックスでアノテーションする。
• マルチモーダルな認識およびセンサーフュージョン研究を支援するため、同期されたステレオ画像、32チャネルのLiDAR、GPS/IMUデータを記録する。
• 日中／夜間、降雪／降雨、濃霧などの異なる照明および大気条件をカバーすることで、データの多様性を確保する。
• レーダーを用いた自動車認識分野におけるベンチマーク作成と再現可能性のある研究を可能にするために、データセットを公開する。

実験結果

リサーチクエスチョン

• RQ1 カメラやLiDARが機能を失うような悪天候下（例：濃霧、雪）において、レーダーを用いた認識システムが頑健な性能を発揮できるか。
• RQ2 実際の走行状況における異なる天候および照明条件下で、レーダーのデータ品質や検出可能性はどのように変化するか。
• RQ3 複雑な都市部および住宅地環境において、レーダー・データのみで、自動運転車両の正確な物体検出およびトラッキングをどの程度実現できるか。
• RQ4 ステレオビジョンおよびLiDARと融合した場合、レーダー・データはシーン理解およびローカライゼーションにおいてどの程度効果的か。

主な発見

• RADIATE は、広範な悪天候下において高分解能のレーダー画像と密なアノテーションを提供する最初の公開レーダー・データセットである。
• 8つの利用者カテゴリにわたる20万件を超えるラベル付きインスタンスを含み、1枚あたり平均4.6件のインスタンスがあるため、レーダー認識性能の詳細な分析が可能である。
• ベースラインの結果から、従来のセンサ（カメラやLiDAR）が著しく性能を低下させる悪天候下において、レーダーを用いた物体検出が実現可能で有望であることが示された。
• ステレオ画像、32チャネルのLiDAR、GPSデータの統合により、単独のレーダー認識をはるかに超えた、センサーフュージョン、ローカライゼーション、マッピング分野における先進的な研究が可能になった。