[論文レビュー] Radar-Camera Fusion for Object Detection and Semantic Segmentation in Autonomous Driving: A Comprehensive Review

Shanliang Yao, Runwei Guan+9 more|arXiv (Cornell University)|Apr 20, 2023

Advanced Neural Network Applications参考文献 310被引用数 7

ひとこと要約

この包括的なレビューでは、自動運転における物体検出およびセマンティックセグメンテーションのための最新鋭のレーダー・カメラ統合手法を統合的に分析し、統合の原則、データ表現、データセット、および手法を検討している。統合の目的（なぜ）、内容（何を）、場所（どこで）、タイミング（いつ）、方法（どのように）を統合するかといった重要な問いに答えるとともに、オープンワールド認識やエッジデプロイメントといった未解決の課題を特定し、データセットおよび手法の比較が可能なインタラクティブなウェブサイトを提供している。

ABSTRACT

Driven by deep learning techniques, perception technology in autonomous driving has developed rapidly in recent years, enabling vehicles to accurately detect and interpret surrounding environment for safe and efficient navigation. To achieve accurate and robust perception capabilities, autonomous vehicles are often equipped with multiple sensors, making sensor fusion a crucial part of the perception system. Among these fused sensors, radars and cameras enable a complementary and cost-effective perception of the surrounding environment regardless of lighting and weather conditions. This review aims to provide a comprehensive guideline for radar-camera fusion, particularly concentrating on perception tasks related to object detection and semantic segmentation.Based on the principles of the radar and camera sensors, we delve into the data processing process and representations, followed by an in-depth analysis and summary of radar-camera fusion datasets. In the review of methodologies in radar-camera fusion, we address interrogative questions, including "why to fuse", "what to fuse", "where to fuse", "when to fuse", and "how to fuse", subsequently discussing various challenges and potential research directions within this domain. To ease the retrieval and comparison of datasets and fusion methods, we also provide an interactive website: https://radar-camera-fusion.github.io.

研究の動機と目的

• 自動運転の周辺認識におけるレーダー・カメラ統合技術について、体系的かつ包括的なレビューを提供すること。
• レーダーとカメラのデータを統合するにあたり、『なぜ、何を、どこで、いつ、どのように統合するか』という重要な研究的問いに答えること。
• レーダーおよびカメラのデータ表現、信号処理、統合手法について、深く分析すること。
• センサーの制限、データセットの不足、オープンワールド認識といった、レーダー・カメラ統合における主な課題を特定すること。
• マルチタスク学習、4Dレーダー、効率的なエッジデプロイメントといった方向性を提案することで、今後の研究を導くこと。

提案手法

• 統合レベル（初期統合、後期統合、ハイブリッド）およびモダリティ間相互作用戦略に基づいて、レーダー・カメラ統合手法を体系的に分類・分析する。
• レーダー信号処理パイプライン（ビート周波数、ドップラー処理、I/Qデータからのポイントクラウド生成）をレビューする。
• レーダー・カメラ統合に適した既存のデータセット（例：nuScenes、KITTI、nuTonomy）を評価し、データの可用性、アノテーション品質、スパarsityの問題を強調する。
• 『なぜ、何を、どこで、いつ、どのように統合するか』という5つのコアな問いに答えることで、統合のための構造化されたフレームワークを提唱する。
• データセットおよび統合手法のカタログ化と比較が可能なインタラクティブなウェブサイト（https://radar-camera-fusion.github.io）を導入する。
• エッジデバイスに統合モデルをデプロイするためのモデル圧縮および高速化技術（例：プルーニング、量子化）を議論する。

実験結果

リサーチクエスチョン

• RQ1 悪天候下における耐障害性のある自動運転認識を実現するため、なぜレーダー・カメラ統合が必要なのか？
• RQ2 レーダーとカメラモダリティを統合するための最適なデータ表現と統合レベルは何か？
• RQ3 レーダー・カメラ統合を2次元および3次元の物体検出およびセマンティックセグメンテーションタスクに効果的に適用する方法は何か？
• RQ4 センサーの制限、データセットの不足、オープンワールド一般化といった、レーダー・カメラ統合における主な課題は何か？
• RQ5 リソース制限のあるエッジデバイスでリアルタイムの自動運転システムに効率的に統合モデルをデプロイするにはどうすればよいか？

主な発見

• レーダー・カメラ統合により、あらゆる天候・時間帯で運用可能な認識が可能となり、カメラは豊富なセマンティック情報を提供し、レーダーは視界が悪い状況下でも頑健な速度および距離推定を実現する。
• レーダー・カメラ統合に用いられる既存のデータセットは、サイズ、アノテーション品質、レーダーデータの密度の点で制限されており、手法の開発やベンチマークの実施を妨げている。
• LiDARベースの統合手法は、ポイントクラウドのスパarsityおよび信号特性に根本的な違いがあるため、レーダーには一般化しにくい。
• 4Dレーダーセンサーは、より密度の高いポイントクラウドと高解像度を提供するという点で、有望な代替手段として浮上しており、物体の幾何形状推定を向上させている。
• マルチタスク学習は、共有特徴学習によって効率性と性能を向上させられるが、まだ十分に検討されていない有望な分野である。
• 統合モデルのエッジデプロイメントは依然として大きな課題であり、1つの研究でのみJetson AGX TX2上で11 Hzの推論速度が報告されていることから、モデル圧縮および最適化の必要性が浮き彫りになっている。