[論文レビュー] Selective Sensor Fusion for Neural Visual-Inertial Odometry

Changhao Chen, Stefano Rosa+5 more|arXiv (Cornell University)|Mar 4, 2019

Robotics and Sensor-Based Localization参考文献 10被引用数 6

ひとこと要約

本論文は、現実世界のセンサー劣化に強いモノクローラル・ビジュアルインertリアルオドメトリ（VIO）のエンドツーエンド選択的センサーフュージョンフレームワークを提案する。2つの統合戦略—決定的ソフトフュージョンと確率的ハードフュージョン—を導入し、学習可能なマスクを用いて視覚的およびインertial特徴を動的に重み付けすることで、劣化したデータ下でも直接統合を上回る性能を発揮し、統合マスクの可視化により解釈可能なモダリティ寄与度を明らかにする。

ABSTRACT

Deep learning approaches for Visual-Inertial Odometry (VIO) have proven successful, but they rarely focus on incorporating robust fusion strategies for dealing with imperfect input sensory data. We propose a novel end-to-end selective sensor fusion framework for monocular VIO, which fuses monocular images and inertial measurements in order to estimate the trajectory whilst improving robustness to real-life issues, such as missing and corrupted data or bad sensor synchronization. In particular, we propose two fusion modalities based on different masking strategies: deterministic soft fusion and stochastic hard fusion, and we compare with previously proposed direct fusion baselines. During testing, the network is able to selectively process the features of the available sensor modalities and produce a trajectory at scale. We present a thorough investigation on the performances on three public autonomous driving, Micro Aerial Vehicle (MAV) and hand-held VIO datasets. The results demonstrate the effectiveness of the fusion strategies, which offer better performances compared to direct fusion, particularly in presence of corrupted data. In addition, we study the interpretability of the fusion networks by visualising the masking layers in different scenarios and with varying data corruption, revealing interesting correlations between the fusion networks and imperfect sensory input data.

研究の動機と目的

• 欠落データ、ノイズ、ずれなどの現実世界のセンサー不具合に起因する深層学習ベースのビジュアルインエラルオドメトリにおける耐性のない統合戦略の欠如に対処すること。
• 信頼性と運動ダイナミクスに基づいて視覚的およびインエラル特徴を効果的に選択的に統合できる汎用的かつエンドツーエンドのフレームワークを開発すること。
• 遮蔽、ぼやけ、センサードリフトなどのデータ劣化が生じる状況下でも、システムの耐性と正確性を向上させること。
• さまざまな運動ダイナミクスやデータ劣化レベル下での学習済みマスキング層の可視化を通じて、統合プロセスの解釈可能性を提供すること。
• 制御されたセンサーデグレードを伴う多様なデータセット上でフレームワークを評価し、直接統合ベースラインを上回ることを実証すること。

提案手法

• フレームワークは、モノクローラル画像とIMU測定値から特徴を抽出するための分離された視覚的およびインエラルエンコーダーを使用する。
• 新規の特徴統合コンponentは、ソフトマスキングまたはハードマスキングを適用する：ソフトフュージョンは微分可能なマスクを用いて特徴を重み付けするのに対し、ハードフュージョンはGumbel-softmaxを用いて確率的バイナリマスクを学習する。
• ソフトフュージョン戦略は、連結された視覚的およびインエラル特徴から連続的マスクを計算し、微分可能で決定的な特徴重み付けを可能にする。
• ハードフュージョン戦略は、Gumbel-softmaxサンプリングを介して確率性を導入し、どの特徴を保持または破棄するかを学習することで、ノイズおよび劣化に対する耐性を高める。
• ネットワーク全体は、ポーズ回帰損失を用いてエンドツーエンドで訓練され、特徴抽出、統合、トラジェクトリ推定の共同最適化が可能になる。
• 解釈可能性は、異なる運動ダイナミクスおよびデータ劣化レベル下での統合マスクの可視化によって達成される。

Figure 1 : Visualization of the learned hard and soft fusion masks under different conditions (left: normal data; middle and right: corrupted data). The number (hard) or weights (soft) of selected features in the visual and inertial sides can reflect the self-motion dynamics (increasing importance o

実験結果

リサーチクエスチョン

• RQ1 選択的センサーフュージョンは、ニューラルVIOにおいて視覚的およびインエラルデータの欠落や劣化に対してどのように耐性を高めるか？
• RQ2 回転や並進などの異なる運動ダイナミクス下で、視覚的およびインエラルモダリティの相対的寄与度はいかほどか？
• RQ3 学習済みの統合マスクは、環境的およびセンサーデグレード状態とどのように相関するか？
• RQ4 劣化状況下で、確率的ハードフュージョンは決定的ソフトフュージョンおよび直接連結よりも優れた性能を示すか？
• RQ5 統合マスクは、各センサーモダリティの強みと弱みを解釈可能に明らかにできるか、どの程度までその可視化が可能か？

主な発見

• 提案された選択的統合フレームワークは、直接統合ベースラインを上回り、特にデータ劣化下でも優れた耐性と正確性を示した。自動運転、MAV、ハンドヘルドVIOのデータセットで実証された。
• 高回転状態（例：カーブ旋回）ではインエラル特徴が優勢であり、高線形移動状態では視覚的特徴が顕著であることが確認され、相補的な強みが裏付けられた。
• 画像遮蔽状態では、90％を超えるインエラル特徴が選択された。これは、視覚が損なわれた際のインエラルデータへの依存性の高さを示している。
• 通常および軽度の劣化状態では視覚的特徴が支配的（ブロックされていない割合が60％以上）であるが、重度の劣化下ではその寄与度が低下し、インエラルデータへの依存度が高まる。
• 学習済みのハードフュージョンマスクは運動ダイナミクスと強く相関しており、急激な回転時にはより多くのインエラル特徴が選択され、高速移動時にはより多くの視覚的特徴が選択される。
• 統合マスクの可視化により、明確なパターン（例：旋回時におけるインエラル重みの増加）が明らかとなり、モデルの適応的かつ文脈に即した統合行動が妥当であることが裏付けられた。

Figure 2 : An overview of our neural visual-inertial odometry architecture with proposed selective sensor fusion, consisting of visual and inertial encoders, feature fusion, temporal modelling and pose regression. In the feature fusion component, we compare our proposed soft and hard selective senso