[論文レビュー] MmWave Radar and Vision Fusion for Object Detection in Autonomous Driving: A Review

Zhiqing Wei, Fengkai Zhang+4 more|arXiv (Cornell University)|Aug 6, 2021

Advanced Neural Network Applications参考文献 77被引用数 5

ひとこと要約

本稿は、自動運転における3次元物体検出を目的としたミリ波レーダーとビジョンの融合技術をレビューし、融合手法をデータレベル、特徴レベル、意思決定レベルのアプローチに分類する。レーダー（悪天候下でも耐障害性が高い）とビジョン（豊富なテクスチャーや形状の詳細）の相補的な強みを強調し、LiDAR-ビジョン融合やマルチモーダルセンシングといった新たなトレンドについて、検出精度と耐障害性の向上に寄与するものとして議論する。

ABSTRACT

With autonomous driving developing in a booming stage, accurate object detection in complex scenarios attract wide attention to ensure the safety of autonomous driving. Millimeter wave (mmWave) radar and vision fusion is a mainstream solution for accurate obstacle detection. This article presents a detailed survey on mmWave radar and vision fusion based obstacle detection methods. First, we introduce the tasks, evaluation criteria, and datasets of object detection for autonomous driving. The process of mmWave radar and vision fusion is then divided into three parts: sensor deployment, sensor calibration, and sensor fusion, which are reviewed comprehensively. Specifically, we classify the fusion methods into data level, decision level, and feature level fusion methods. In addition, we introduce three-dimensional(3D) object detection, the fusion of lidar and vision in autonomous driving and multimodal information fusion, which are promising for the future. Finally, we summarize this article.

研究の動機と目的

• 自動運転におけるミリ波レーダーとビジョンの融合手法を、物体検出の観点から包括的に調査すること。
• 悪天候、遮蔽、変動する物体スケールといった複雑な走行シナリオにおける課題を分析すること。
• データレベル、特徴レベル、意思決定レベルの統合における融合戦略を分類・比較すること。
• 3次元物体検出の役割と、ビジョンおよびレーダーと統合されたLiDARの統合が、認識性能を向上させる方法を検討すること。
• マルチモーダル情報融合が、耐障害性の高い自動運転認識の今後の有望な方向性であることを探求すること。

提案手法

• 本稿は、ミリ波レーダーとビジョンの融合に関する既存の文献を体系的にレビューし、センサの配置、キャリブレーション、融合戦略に焦点を当てる。
• 融合技術を3つのレベルに分類する：データレベル（生信号の早期統合）、特徴レベル（深層特徴の連結）、意思決定レベル（検出結果の統合）。
• レーダーポイントクラウドとカメラ特徴を活用して3次元空間におけるボクセルボックスを推定する3次元物体検出手法の分析を含む。
• LiDAR-ビジョン融合手法を検討し、例えばLiDARを用いて画像ベースの検出ネットワークのためのオブジェクト候補を生成する手法を例示する。
• 生レーダー、ビジョン、LiDARデータを別々の感覚モダリティとして扱い、統合的に処理するマルチモーダル融合を議論する。
• mAP、IoU、MaxFスコアといった標準的な指標を用いて性能を評価し、KITTIなどのベンチマークデータセットを参照する。

実験結果

リサーチクエスチョン

• RQ1 悪天候や遮蔽条件下で、ミリ波レーダーとビジョンは、物体検出においてどのように相補的に機能するか？
• RQ2 レーダー・ビジョンシステムにおけるデータレベル、特徴レベル、意思決定レベルの融合の主な違いとトレードオフは何か？
• RQ3 ミリ波レーダーとビジョンデータを統合することで、3次元物体検出はどのように改善できるか？
• RQ4 LiDAR-ビジョン融合は、自動運転における検出精度と耐障害性を向上させるために果たす役割は何か？
• RQ5 マルチモーダル情報融合における自動認識システムの課題と機会は何か？

主な発見

• ミリ波レーダーは、濃霧、雨、雪といった悪天候下でも、安定した検出性能を維持するのに対し、ビジョンセンサは著しく性能が低下する。
• 空間的アテンション統合（SAF）を用いる特徴レベルの融合手法は、レーダーとビジョン特徴を効果的にアライメントすることで、検出精度が向上した。
• ポイントクラウドベースの候補を用いるLiDAR-ビジョン融合手法は、KITTIデータセットにおける道路セグメンテーションでMaxFスコア96.03％を達成した。
• レーダーとビジョンのデータレベル統合により、生センサ信号の早期統合が可能となり、より多くの情報を保持し、検出の一貫性が向上する。
• 後処理を施したレーダー出力ではなく、元のレーダーデータを用いたマルチモーダル統合は、処理済みレーダー出力よりも環境情報の保持に優れる。
• DCNNや完全畳み込みネットワーク（FCNs）を用いるディープラーニングベースの統合ネットワークは、従来の手作業特徴抽出手法に比べ、物体分類および検出タスクで優れた性能を示した。