[論文レビュー] Multi-modal Sensor Fusion for Auto Driving Perception: A Survey

Finkenzeller, Andreas, Roberts, Andrew+4 more|arXiv (Cornell University)|Feb 6, 2022

Advanced Neural Network Applications被引用数 90

ひとこと要約

本調査では、自動運転の周辺認識におけるマルチモーダルセンサーフュージョンのための新規分類法を提案し、手法を強フュージョンとウェイクフュージョンの2大分類に分類し、フュージョン段階と特徴表現に基づいて4つのサブクラスに細分化している。50篇以上の論文を体系的にレビューし、データフォーマットを分析し、ドメインバイアスや解像度の不一致といった主な課題を特定し、自己教師あり学習やマルチソース情報統合といった今後の研究方向性を提示している。

ABSTRACT

Environmental perception and 3D object detection are key factors for advancing autonomous driving and require robust security measures to ensure optimal performance and safety. However, established methods often focus only on protecting the involved data and overlook synchronization and timing aspects, which are equally crucial for ensuring profound system security. For instance, multi-modal sensor fusion techniques for object detection can be affected by input desynchronization resulting from random communication delays or malicious cyber attacks, as these techniques combine various sensor inputs to extract shared features present in their data streams simultaneously. Current research acknowledges the importance of temporal alignment in this context. However, the presented studies typically assume genuine system behavior and neglect the potential threat of malicious attacks, as the suggested solutions lack strategies to prevent intentional data misalignment. Additionally, they do not adequately address how sensor input desynchronization affects fusion performance in depth. This paper investigates how desynchronization attacks impact sensor fusion algorithms for 3D object detection. We evaluate how varying sensor delays affect the detection performance and link our findings to the internal architecture of the sensor fusion algorithms and the influence of specific traffic scenarios and their dynamics. We compiled four datasets covering typical traffic scenarios for our empirical evaluation and tested them on four representative fusion algorithms. Our results show that all evaluated algorithms are vulnerable to input desynchronization, as the performance declines with increasing sensor delays, highlighting the existing lack of resilience to desynchronization attacks. Furthermore, we observe that the Light Detection and Ranging (LiDAR) sensor is significantly more susceptible to delays than the camera. Finally, our experiments indicate that the chosen fusion architecture correlates with the system’s resilience against desynchronization, as our results demonstrate that the early fusion approach provides greater robustness than others.

研究の動機と目的

• 従来の3段階分類（早期、深層、後期フュージョン）では特徴表現の明確さに欠け、非対称なフュージョンパターンを捉えきれないという限界を是正すること。
• LiDARとカメラセンサーを用いたマルチモーダル認識に関する最近の50篇以上の論文を包括的にレビューすること。3次元物体検出やセマンティックセグメンテーションなどのタスクを対象とする。
• マルチモーダルフュージョンにおける継続的な課題、例えばドメインバイアス、解像度の不一致、特徴変換中の情報損失を特定すること。
• 自己教師あり表現学習や複数のセンサー・フレームにわたる時間的・空間的・文脈的情報の統合を活用するような、今後の研究方向性を提案すること。
• 現代のフュージョンアーキテクチャの複雑さをよりよく反映する、段階ベースの体系的で分類可能なフレームワークを提供すること。

提案手法

• フュージョン手法を強フュージョンとウェイクフュージョンの2大分類に分け、強フュージョンはフュージョン段階と特徴表現に基づき、早期フュージョン、深層フュージョン、後期フュージョン、非対称性フュージョンの4つのサブクラスに細分化する新規分類法を提案する。
• LiDAR（点群、BEV投影、ボクセルグリッド）とカメラ（RGB画像、特徴マップ）のデータフォーマットと表現を分析・比較し、解像度、構造、情報含量の違いを強調する。
• 連結、要素ごとの乗算、バイリニアプーリングといったフュージョンメカニズムを評価し、モダリティ間の意味的ギャップを埋めるためにより洗練された演算が必要であると主張する。
• 各モダリティが処理段階で果たす役割を明確に定義することで、特徴レベルのフュージョンを明確にする段階ベース分類システムを導入し、従来の方法が仮定する対称性を回避する。
• 今後のフュージョントランスフォーマーは、セマンティックセグメンテーション、レーン検出、時間的シーケンスといったマルチソース情報の統合を共同学習フレームワークを通じて行うべきだと提言する。
• 現実世界のシーンに内在する自己相関性を活用し、ペアドアノテーションに依存せずに特徴の整合性を高めるために、自己教師あり学習およびコントラスト学習の手法を推奨する。

実験結果

リサーチクエスチョン

• RQ1 従来の早期／深層／後期フュージョン分類を超えて、自動運転周辺認識におけるマルチモーダルセンサーフュージョンのためのより体系的かつ正確な分類法をどのように開発できるか？
• RQ2 LiDAR点群とカメラ画像の間には、データ表現および特徴的特性においてどのような主要な相違があるのか？ それらはフュージョン性能にどのように影響を与えるか？
• RQ3 ドメインバイアス、解像度の不一致、投影過程での情報損失といった、マルチモーダルフュージョンにおける主な未解決課題は何か？
• RQ4 今後のフュージョントランスフォーマーは、セマンティック、空間的、時間的情報をどのようにより効果的に活用することで、耐性と正確性を向上させられるか？
• RQ5 自己教師あり学習は、クロスマダリティ特徴の整合性を向上させ、大規模なアノテートデータセットへの依存を減らすために果たす役割は何か？

主な発見

• 強フュージョンとウェイクフュージョンの2大分類に4つのサブクラスを設ける本研究の分類法は、従来の早期／深層／後期フュージョンに比べ、特に非対称なフュージョンパターンを捉える点で、より明確で正確な分類を提供している。
• LiDARとカメラのデータは、解像度、構造、情報含量において顕著な相違を示しており、LiDARは低空間密度に、カメラはオクルージョンや照明の変化に弱い。
• 次元削減の過程で情報損失が顕著であり、例えば3次元点群を2次元のビューアー（BEV）に投影する際の損失は、フュージョンに適した高次元表現を設計することで軽減可能である。
• 連結や要素ごとの乗算といった現在のフュージョン操作は、モダリティ間の分布差が大きい場合に不十分であり、バイリニアプーリングのような高度なメカニズムの導入が求められる。
• センサータイプ、天候、場所、季節に起因するドメインバイアスは、モデルの汎化性能を制限する。今後のモデルは、多様なデータソースを適応的に統合することで耐性を高めるべきである。
• 自己教師あり学習およびコントラスト学習の手法は、クロスマダリティ特徴の整合性を向上させ、アノテーション依存性を低減する上で強く有望であり、今後の研究にとって有望な道筋を示している。