[論文レビュー] SelectFusion: A Generic Framework to Selectively Learn Multisensory Fusion.

Changhao Chen, Stefano Rosa+3 more|arXiv (Cornell University)|Dec 30, 2019

Robotics and Sensor-Based Localization参考文献 70被引用数 7

ひとこと要約

SelectFusion は、単眼画像や慣性計測、深度とLIDAR などのマルチモーダルデータを、決定論的ソフトファージョンと確率的ハードファージョンを用いて選択的に統合するエンドツーエンドで解釈可能なセンサーフュージョンフレームワークを提案する。特徴の信頼性を動的に評価することで、ノイズ、遮蔽、ずれのある状況下でも直接統合より優れた耐性を発揮する。

ABSTRACT

Autonomous vehicles and mobile robotic systems are typically equipped with multiple sensors to provide redundancy. By integrating the observations from different sensors, these mobile agents are able to perceive the environment and estimate system states, e.g. locations and orientations. Although deep learning approaches for multimodal odometry estimation and localization have gained traction, they rarely focus on the issue of robust sensor fusion - a necessary consideration to deal with noisy or incomplete sensor observations in the real world. Moreover, current deep odometry models also suffer from a lack of interpretability. To this extent, we propose SelectFusion, an end-to-end selective sensor fusion module which can be applied to useful pairs of sensor modalities such as monocular images and inertial measurements, depth images and LIDAR point clouds. During prediction, the network is able to assess the reliability of the latent features from different sensor modalities and estimate both trajectory at scale and global pose. In particular, we propose two fusion modules based on different attention strategies: deterministic soft fusion and stochastic hard fusion, and we offer a comprehensive study of the new strategies compared to trivial direct fusion. We evaluate all fusion strategies in both ideal conditions and on progressively degraded datasets that present occlusions, noisy and missing data and time misalignment between sensors, and we investigate the effectiveness of the different fusion strategies in attending the most reliable features, which in itself, provides insights into the operation of the various models.

研究の動機と目的

• 実世界のセンサーデグレード条件下で、深層学習ベースのセンサーフュージョンの耐性の欠如に対処する。
• ネットワークが特徴の信頼性を評価・優先できるようにすることで、マルチモーダル統合の解釈可能性を向上させる。
• 単眼カメラとIMU、または深度とLIDAR などのさまざまなセンサーペアに適用可能な汎用的でエンドツーエンドのフレームワークを開発する。
• 遮蔽、ノイズ、欠損データ、時間ずれを含む、段階的に劣化する条件を想定した環境で、統合戦略を評価する。

提案手法

• 信頼性に基づいて異なるセンサーモダリティからの特徴を動的に重みづけする注目メカニズムを用いた選択的統合モジュールを導入する。
• 2種類の異なる統合戦略を実装する：学習された注目重みを用いて特徴を結合する決定論的ソフトファージョン、およびモダリティ間の分布からサンプリングする確率的ハードファージョン。
• 複数のセンサーからの潜在表現を用いて、スケール上のトラジェクトリとグローバルポーズを同時に推定できるネットワークを設計する。
• エンドツーエンドで学習し、センサーデグレード下での正確性と耐性を最適化する。
• 推論時に最も信頼性の高い特徴に注目できる注目ベースのメカニズムを導入する。
• 劣化度合いが段階的に増加するデータセットを用いて、統合戦略の耐性と特徴選択行動を評価する。

実験結果

リサーチクエスチョン

• RQ1 注目メカニズムを用いた選択的統合は、センサーデグレード下で直接統合と比較して、どのように耐性を向上させるか？
• RQ2 ノイズや不完全な状態の条件下で、モデルはどの程度、異なるセンサーモダリティからの信頼性の高い特徴を特定・優先できるか？
• RQ3 決定論的ソフトファージョンと確率的ハードファージョンは、劣化度合いが異なる状況下で、性能と解釈可能性の点でどのように比較できるか？
• RQ4 注目メカニズムは、各時刻における予測に最も寄与しているセンサーモダリティを、意味のある洞察をもって特定できるか？

主な発見

• SelectFusion は、理想的な状況と劣化した状況の両方で直接統合を上回り、センサーノイズ、遮蔽、時間ずれに対する耐性が向上していることを示した。
• 注目メカニズムは、信頼性の高いセンサーフィーチャーを的確に特定・強調し、モデルの解釈可能性を向上させた。
• 極端な劣化下では、確率的ハードファージョンが、信頼性に基づいてモダリティを切り替えることで、より高い耐性を示した。
• 決定論的ソフトファージョンは、中程度のノイズや部分的遮蔽の状況で、すべての劣化レベルで一貫した性能向上を達成した。
• 1つのモダリティが著しく劣化しても、トラジェクトリとグローバルポーズ推定の精度を高い水準で維持した。
• アブレーションスタディにより、選択的統合メカニズムが耐性性能を確保するために不可欠であることが確認された。直接統合は、実世界のセンサーチャレンジ下で急速に性能を低下させた。