[論文レビュー] MmWave Radar and Vision Fusion based Object Detection for Autonomous Driving: A Survey

Zhiqing Wei, Fengkai Zhang+4 more|arXiv (Cornell University)|Aug 6, 2021

Advanced Neural Network Applications参考文献 49被引用数 2

ひとこと要約

本調査では、自動運転における物体検出のためのミリ波レーダーとビジョン統合技術をレビューし、統合手法をデータレベル、特徴レベル、意思決定レベルに分類している。センサの配置、キャリブレーション、統合ワークフローを分析し、複雑な環境下での障害物検出におけるレーダーとビジョンの相乗効果を強調している。

ABSTRACT

With autonomous driving developing in a booming stage, accurate object detection in complex scenarios attract wide attention to ensure the safety of autonomous driving. Millimeter wave (mmWave) radar and vision fusion is a mainstream solution for accurate obstacle detection. This article presents a detailed survey on mmWave radar and vision fusion based obstacle detection methods. Firstly, we introduce the tasks, evaluation criteria and datasets of object detection for autonomous driving. Then, the process of mmWave radar and vision fusion is divided into three parts: sensor deployment, sensor calibration and sensor fusion, which are reviewed comprehensively. Especially, we classify the fusion methods into data level, decision level and feature level fusion methods. Besides, we introduce the fusion of lidar and vision in autonomous driving in the aspects of obstacle detection, object classification and road segmentation, which is promising in the future. Finally, we summarize this article.

研究の動機と目的

• 自動運転におけるミリ波レーダーとビジョン統合手法の包括的レビューを提供すること。
• 統合の3つの主要段階であるセンサ配置、キャリブレーション、統合戦略を分析すること。
• データレベル、特徴レベル、意思決定レベルの統合手法を分類・比較すること。
• ライダーとビジョンの統合の可能性を検討し、自動走行システムにおける認識性能を向上させること。
• マルチモーダルセンサ統合分野における現在の課題と今後の研究方向性を要約すること。

提案手法

• 本論文は、自動運転における物体検出フレームワークを体系的にレビューし、ミリ波レーダーとビジョンの統合に焦点を当てている。
• 統合戦略を3段階に分類する：データレベル統合、特徴レベル統合、意思決定レベル統合。
• 正確なマルチセンサアライメントに不可欠なセンサ配置構成とキャリブレーション技術を評価している。
• 自動運転研究で用いられるデータセット、評価指標、ベンチマークプロトコルを検討している。
• レーダー・ビジョン統合とライダー・ビジョン統合を比較し、物体検出、分類、レーンセグメンテーションにおける両者の強みを議論している。
• 研究の結果を統合して、現在の統合手法におけるトレンドとギャップを特定している。

実験結果

リサーチクエスチョン

• RQ1 ミリ波レーダーとビジョン統合において、データレベル、特徴レベル、意思決定レベルの統合手法は、性能と複雑さの観点でどのように比較されるか？
• RQ2 自動車用レーダー・ビジョンシステムにおけるセンサキャリブレーションと配置の主な課題は何か？
• RQ3 ライダーとビジョンの統合は、レーダーとビジョンの統合と比較して、正確性と頑健性の観点でどのように異なるか？
• RQ4 自動運転における物体検出をベンチマークするのによく使われる評価基準とデータセットは何か？
• RQ5 自動運転認識におけるマルチモーダルセンサ統合の今後の研究方向性は何か？

主な発見

• 本調査では、データレベル統合、特徴レベル統合、意思決定レベル統合が主な手法であり、それぞれが精度と計算コストの面で明確なトレードオフを持つことが特定された。
• 適切なセンサキャリブレーションと配置は、実世界の走行条件下で高精度な物体検出を達成するために不可欠である。
• 特徴レベル統合は、共有表現を活用することで意思決定レベル統合よりも優れた性能を示す傾向にある。
• ライダー・ビジョン統合は、3次元物体検出やレーンセグメンテーションといった高度なタスクにおいて強くポテンシャルを示しているが、レーダー・ビジョン統合に比べてまだ十分に検討されていない。
• ミリ波レーダーとビジョンの統合により、悪天候や視界不良の状況下でも検出の頑健性が向上する。
• 本論文は、レーダー・ビジョン統合は成熟しており広く採用されているが、将来的にはライダーを統合するハイブリッドセンサアーキテクチャが将来的なシステムに恩恵をもたらす可能性があると結論づけている。