[論文レビュー] Beyond Tracking: Selecting Memory and Refining Poses for Deep Visual Odometry

Fei Xue, Xin Wang+4 more|arXiv (Cornell University)|Apr 3, 2019

Robotics and Sensor-Based Localization参考文献 38被引用数 14

ひとこと要約

本論文は、適応的で長期的なグローバルコンテキストの保持を可能にするMemoryと、空間的・時間的アテンションを用いた誤差補正を行うRefiningを導入することで、学習ベースのビジュアルオドメトリ（VO）の性能を向上させる、新しいエンドツーエンドの深層ビジュアルオドメトリフレームワークを提案する。この手法は、最先端の学習ベースVOモデルを著しく上回り、特にテクスチャが乏しい領域や高運動状態のシナリオにおいて、古典的モノクローラルVOシステムと同等の結果を達成する。

ABSTRACT

Most previous learning-based visual odometry (VO) methods take VO as a pure tracking problem. In contrast, we present a VO framework by incorporating two additional components called Memory and Refining. The Memory component preserves global information by employing an adaptive and efficient selection strategy. The Refining component ameliorates previous results with the contexts stored in the Memory by adopting a spatial-temporal attention mechanism for feature distilling. Experiments on the KITTI and TUM-RGBD benchmark datasets demonstrate that our method outperforms state-of-the-art learning-based methods by a large margin and produces competitive results against classic monocular VO approaches. Especially, our model achieves outstanding performance in challenging scenarios such as texture-less regions and abrupt motions, where classic VO algorithms tend to fail.

研究の動機と目的

• VOを純粋なトラッキング問題として扱う既存の学習ベースVO手法の限界を解決する。具体的には、長期的コンテキストの無視と誤差の精錬の欠如を是正する。
• アダプティブメモリ機構を用いてグローバル情報を明示的に保持することで、モノクローラルVOにおける誤差の蓄積を是正する。
• 空間的・時間的アテンション機構を用いて、保存されたメモリからのコンテキスト特徴を活用し、過去の予測値を精錬することで、ポーズ推定の精度を向上させる。
• テクスチャが乏しい領域や急激な動きが生じるような困難な環境において、古典的VOシステムが失敗する状況でも耐障害性を高める。
• ORB-SLAM2 や DSO といった古典的モノクローラルVO手法と同等の性能を達成しつつ、エンドツーエンド学習を維持し、一般化性能を向上させる。

提案手法

• 時間経過に伴い、キーフレームの特徴を適応的に選択・保存するMemoryモジュールを導入。これにより、冗長性を低減するとともに、長期的コンテキストを保持する。
• 畳み込みLSTMベースのトラッキングモジュールを用い、現在の特徴と隠れ状態を統合することで、空間的・時間的整合性を維持する。
• Memoryを活用して過去のポーズ推定値を再評価・補正するRefiningモジュールを実装。空間的・時間的アテンション機構を用いる。
• 空間的および時間的の二重アテンション機構を導入し、Memoryから関連する特徴を効率的に抽出する。
• ネットワーク全体をエンドツーエンドで学習させ、トラッキング、メモリ選択、ポーズ精錬の最適化を同時に実現する。
• Refiningモジュール内で特徴の再編成戦略を採用し、各ビューをMemoryに保存されたグローバルコンテキストに一致させることで、登録精度を向上させる。

実験結果

リサーチクエスチョン

• RQ1 適応的メモリ機構は、学習ベースVOにおける長期的整合性の向上と誤差蓄積の低減に寄与するか？
• RQ2 空間的・時間的アテンション機構は、保存されたグローバルコンテキストを用いて過去のポーズ推定値を精錬するのにどの程度効果的か？
• RQ3 提案フレームワークは、標準ベンチマーク上での最先端学習ベースVO手法をどの程度上回るか？
• RQ4 テクスチャが乏しい領域や急激なカメラ運動が生じるような困難な条件下でも、高い精度を維持できるか？
• RQ5 MemoryおよびRefiningといった個々のモジュールは、特にアブレーションモデルと比較して、全体の性能にどの程度寄与しているか？

主な発見

• 提案手法は、KITTIおよびTUM-RGBDベンチマークの両方で、最先端の学習ベースVO手法を上回り、ほとんどのシーケンスで変位のRMSEが低くなる。
• TUM-RGBDデータセットにおいて、fr3/nstr_tex_near_loopでは変位のRMSEが0.010 m、fr3/str_ntex_farでは0.035 mを達成。テクスチャが乏しい領域や運動が激しい状況において、ORB-SLAM2 や DSO を上回る性能を示した。
• アブレーションスタディの結果、MemoryおよびRefiningの両モジュールが不可欠であることが確認された。時間的または空間的アテンションを削除すると、特に困難なシーケンスで性能が著しく低下する。
• ORB-SLAM2 や DSO といった古典的モノクローラルVOシステムと同等の結果を達成し、特にテクスチャが不足する場面や急激な動きが生じるシーンで顕著に優れた性能を示した。
• 空間的・時間的アテンションを備えたRefiningモジュールは、過去の推定値を繰り返し精錬することで誤差伝搬を低減し、より安定的で正確なトラジェクトリを実現した。
• フレームワークは優れた一般化性能を示し、トレーニング時に見なかった追加のKITTIシーケンスでも高い性能を維持した。これはドメインシフトに対して強い耐障害性を示している。