[論文レビュー] Benchmarking Visual-Inertial Deep Multimodal Fusion for Relative Pose Regression and Odometry-aided Absolute Pose Regression

Felix Ott, Nisha Lakshmana Raichur+5 more|arXiv (Cornell University)|Aug 1, 2022

Robotics and Sensor-Based Localization被引用数 4

ひとこと要約

本論文は、相対姿勢回帰（RPR）およびオドメトリ支援付き絶対姿勢回帰（APR）のための深層視覚インertリアルマルチモーダル統合をベンチマークし、ポーズグラフ最適化（PGO）、マルチモーダル変換モジュール（MMTM）、および補助的／ベイジアン学習を用いた新規統合フレームワークを提案する。EuRoC MAV、PennCOSYVIO、および新規の大規模産業用データセットIndustryVIにおいて最先端の精度を達成しており、MMTMを用いた統合とPGOは、画像劣化やセンサーノイズ下でも優れた汎化性能と耐性を示す。

ABSTRACT

Visual-inertial localization is a key problem in computer vision and robotics applications such as virtual reality, self-driving cars, and aerial vehicles. The goal is to estimate an accurate pose of an object when either the environment or the dynamics are known. Absolute pose regression (APR) techniques directly regress the absolute pose from an image input in a known scene using convolutional and spatio-temporal networks. Odometry methods perform relative pose regression (RPR) that predicts the relative pose from a known object dynamic (visual or inertial inputs). The localization task can be improved by retrieving information from both data sources for a cross-modal setup, which is a challenging problem due to contradictory tasks. In this work, we conduct a benchmark to evaluate deep multimodal fusion based on pose graph optimization and attention networks. Auxiliary and Bayesian learning are utilized for the APR task. We show accuracy improvements for the APR-RPR task and for the RPR-RPR task for aerial vehicles and hand-held devices. We conduct experiments on the EuRoC MAV and PennCOSYVIO datasets and record and evaluate a novel industry dataset.

研究の動機と目的

• 挑戦的な実世界環境における視覚インエラリアルポーズ推定のための深層マルチモーダル統合手法の評価と比較。
• オドメトリを用いて軌道の一貫性を確保することで、視覚APRとインエラリアルRPRを統合し、絶対姿勢回帰（APR）の精度を向上。
• 適応的統合メカニズムと不確実性推定を通じて、画像劣化およびセンサーノイズに対する耐性を強化。
• 新規の大規模産業用屋内データセット（IndustryVI）も含む多様なデータセットを対象とした包括的ベンチマークの確立。
• 活性化解析および不確実性定量化を用いて、入力が損傷した状況下でのセンサーバイアスおよびモダリティ信頼性の影響を調査。

提案手法

• 視覚APR（PoseNet）、インエラリアルRPR（IMUNet）、視覚RPR（FlowNet）をベースラインモデルとして用い、視覚的・インエラリアル的統合を組み合わせたマルチステージ統合フレームワークを提案。
• 融合された視覚およびインエラリアルシーケンス全体にわたる軌道推定のグローバル一貫性を確保するため、ポーズグラフ最適化（PGO）を採用。
• 中間統合を可能にするために、モダリティ間の学習可能で動的かつ注目ベースの特徴重み付けを実現するマルチモーダル変換モジュール（MMTM）を導入。
• 連結によるラテント統合とBiLSTM層によるソフト統合を比較することで、モダリティ間の統合戦略を検証。
• 主タスクの性能向上を図るための補助学習と、アレアトリック不確実性推定のためのベイジアンニューラルネットワーク（BNN）を統合。
• 画像劣化技術（ぼかし、ノイズ、遮断）を用いて、入力劣化下でのモダリティ信頼性および統合の適応性を評価。

実験結果

リサーチクエスチョン

• RQ1 視覚インエラリアルマルチモーダル統合は、単一モダリティベースラインと比較して、絶対姿勢回帰（APR）の精度をどの程度向上させるか？
• RQ2 画像劣化下で、ラテント統合、中間統合、注目ベース統合のうち、どの統合戦略が最も耐性があり正確なポーズ推定を実現するか？
• RQ3 ポーズグラフ最適化（PGO）は、APRおよびRPRタスクにおいて、軌道のなめらかさとグローバル一貫性をどの程度向上させるか？
• RQ4 補助学習およびベイジアン不確実性推定は、困難な条件下でのモデルの耐性および信頼性をどの程度向上させるか？
• RQ5 画像劣化下ではモダリティ信頼性がどのように変化するか？また、劣化した視覚条件下で、統合ネットワークはインエラリアルデータの優先的処理を適応的に可能にするか？

主な発見

• EuRoC MAVデータセットでは、APR_V-RPR_I + PGO統合法が最高の性能を示し、他の統合戦略に比べてなめらかでより正確な軌道を生成した。
• MMTMモジュールを用いた中間統合は、特にPennCOSYVIOおよびIndustryVIデータセットでラテント統合や連結統合を上回り、より良いモダリティ間相互作用と表現学習が可能であることが要因。
• 3つのMMTMモジュールを統合することで、1つまたは2つの統合に比べて優れた汎化性能が得られ、複雑な運動ダイナミクスにおける深層統合の利点を示した。
• 補助学習は、すべてのデータセットで主タスクの性能を顕著に向上させ、ポーズ回帰におけるマルチタスク学習の価値を裏付けた。
• ベイジアン不確実性推定はモデルの自信を効果的に捉えており、劣化した視覚入力ではアレアトリック不確実性が高くなる傾向が観察され、耐性分析への有効性が検証された。
• 画像劣化下では、RPR_Iブランチにおける活性化重みが増加することで、ネットワークがインエラリアル特徴に注目を向ける傾向を示し、困難な条件下での適応的統合の有効性を確認した。