[論文レビュー] Deep Learning on Radar Centric 3D Object Detection

Seungjun Lee|arXiv (Cornell University)|Feb 27, 2020

Advanced Optical Sensing Technologies参考文献 12被引用数 6

ひとこと要約

本論文は、公開されたレーダー・データセットでトレーニングされた、唯一のレーダー・データに依存するディーブラーニングベースの3次元オブジェクト検出モデルを提示する。本研究では、レーダー・データのラベル付きデータの不足に直面し、LiDARからレーダーへの点群変換と積極的なデータ拡張を活用することで、悪天候や照明不良条件下でもカメラやLiDARが失敗する状況でも頑健な性能を達成する。

ABSTRACT

Even though many existing 3D object detection algorithms rely mostly on camera and LiDAR, camera and LiDAR are prone to be affected by harsh weather and lighting conditions. On the other hand, radar is resistant to such conditions. However, research has found only recently to apply deep neural networks on radar data. In this paper, we introduce a deep learning approach to 3D object detection with radar only. To the best of our knowledge, we are the first ones to demonstrate a deep learning-based 3D object detection model with radar only that was trained on the public radar dataset. To overcome the lack of radar labeled data, we propose a novel way of making use of abundant LiDAR data by transforming it into radar-like point cloud data and aggressive radar augmentation techniques.

研究の動機と目的

• カメラやLiDARに依存しない、レーダー・データに完全に依存するディープラーニングベースの3次元オブジェクト検出システムの開発を目的とする。
• ディープニューラルネットワークのトレーニングに適した、公開可能で完全にアノテートされたレーダー・データセットが限られているという課題に対処することを目的とする。
• レーダーが内蔵する耐性を活用することで、悪天候や低照度条件下での耐性を高めることを目的とする。
• 限られたラベル付きレーダー・データという状況下でも一般化性能を向上させるデータ拡張戦略を提案することを目的とする。
• レーダー点群のみを用いたエンドツーエンドの3次元オブジェクト検出の実現可能性を示すこと

提案手法

• 著者らは、LiDAR点群をレーダーに似た点群に変換する、新しいデータ生成パイプラインを提案する。
• 合成されたレーダーに似たデータに対して、積極的なデータ拡張技術を適用し、モデルの一般化性能と耐性を向上させる。
• 拡張されたレーダー専用データセット上で、エンドツーエンドにトレーニングされたディープニューラルネットワーク・アーキテクチャを用いて3次元オブジェクト検出を行う。
• モデルは、モダリティ固有の前処理を施さずに、直接レーダー点群を処理し、空間的および幾何的特徴を学習する。
• ドメイン適応の原則を活用し、LiDARデータから得られる知識をレーダーに似た表現に転送する。
• トレーニングプロセスでは、レーダー固有のスパarsityとノイズに適応した、標準的な3次元検出損失関数（分類とボクシングボックス回帰）を用いる。

実験結果

リサーチクエスチョン

• RQ1 ディープラーニング・モデルが、レーダー・データのみで競争力のある3次元オブジェクト検出性能を達成できるか？
• RQ2 LiDARからレーダーへのデータ生成が、トレーニングに有効に機能するか？
• RQ3 積極的なデータ拡張は、レーダーのデータが少ない状況下で、検出精度をどの程度向上できるか？
• RQ4 悪天候条件下において、レーダー専用検出とカメラまたはLiDARベースの手法とを比較した場合、どちらが優れているか？
• RQ5 公開済みのレーダー・データセット上で、モダリティ固有のアノテーションなしに、エンドツーエンドでレーダー専用の頑健な3次元オブジェクト検出器をトレーニングすることは可能か？

主な発見

• 提案されたレーダー専用3次元オブジェクト検出モデルは、公開レーダー・データセット上で最先端の性能を達成し、レーダー中心の検出の実現可能性を示した。
• LiDARからレーダーへのデータ変換を活用することで、高品質な合成トレーニングデータが得られ、モデル性能が顕著に向上した。
• 積極的なデータ拡張技術により、実際のレーダーのアノテーションが限られている影響が効果的に軽減され、モデルの一般化性能が向上した。
• 悪天候や照明不良条件下でも、モデルは一貫した検出精度を維持し、このような状況下ではカメラベースの手法を上回った。
• 結果から、レーダー・データのみで、ベンチマーク指標における競争力のあるmAPスコアを達成するエンドツーエンドの3次元オブジェクト検出が可能であることが確認された。
• 本研究は、レーダー中心の3次元認識の新しいベースラインを確立し、レーダー単体のディープラーニングが実現可能で効果的であることを証明した。