[論文レビュー] Deep Patch Visual Odometry

Zachary Teed, Lahav Lipson+1 more|arXiv (Cornell University)|Aug 8, 2022

Robotics and Sensor-Based Localization被引用数 40

ひとこと要約

DPVO は、微分可能なバンドル調整を備えたスパースなパッチベースの再帰ネットワークを用いた単眼視覚オドメトリを導入し、最先端の精度を達成しつつ、以前の手法よりはるかに少ないメモリで動作し、実行速度も速い。

ABSTRACT

We propose Deep Patch Visual Odometry (DPVO), a new deep learning system for monocular Visual Odometry (VO). DPVO uses a novel recurrent network architecture designed for tracking image patches across time. Recent approaches to VO have significantly improved the state-of-the-art accuracy by using deep networks to predict dense flow between video frames. However, using dense flow incurs a large computational cost, making these previous methods impractical for many use cases. Despite this, it has been assumed that dense flow is important as it provides additional redundancy against incorrect matches. DPVO disproves this assumption, showing that it is possible to get the best accuracy and efficiency by exploiting the advantages of sparse patch-based matching over dense flow. DPVO introduces a novel recurrent update operator for patch based correspondence coupled with differentiable bundle adjustment. On Standard benchmarks, DPVO outperforms all prior work, including the learning-based state-of-the-art VO-system (DROID) using a third of the memory while running 3x faster on average. Code is available at https://github.com/princeton-vl/DPVO

研究の動機と目的

• 重い密な流れ計算を伴わず、頑健な単眼 VO を動機づける。
• 頑健性を保つスパースなパッチベース表現を開発する。
• エンドツーエンド学習のための微分可能なバンドル調整を備えた再帰的更新演算子を設計する。
• 従来の学習ベースのVO/SLAM手法に対する効率と精度の改善を示す。

提案手法

• シーンを一連の画像パッチと、パッチをフレームに結ぶパッチグラフで表現する。
• 照合と文脈のために、マッチング用と文脈用の2つのCNNを用いてマルチスケールのパッチ特徴を抽出する。
• 相関、時系列畳み込み、ソフトアグリゲーションを備えた再帰的更新演算子を用いてパッチ軌跡を精練する。
• 因子ヘッドを介して2D軌道の改訂と信頼度ウェイトを提案する。
• 微分可能なバンドル調整層を用いてカメラ姿勢とパッチ深度を最適化する。
• 合成データ上で姿勢とパッチ誘起フローの監督信号を用いてエンドツーエンドで訓練する。

実験結果

リサーチクエスチョン

• RQ1 スパースなパッチベースのマッチングは、密なフローを用いる深層VO法の精度と同等かそれを超え得るのか？
• RQ2 微分可能なBAを伴う再帰的パッチ更新は、密なアプローチと同等かそれ以上の頑健性を提供するのか？
• RQ3 DPVO は DROID-SLAM などの従来法と比較して、精度、速度、メモリ使用量をどのようにバランスさせるのか？
• RQ4 パッチ抽出、パッチ数、グラフの結合性といったパッチベース設計の選択がVO性能に与える影響は何か？

主な発見

• DPVOは複数のベンチマーク（EuRoC、TUM-RGBD、TartanAir、ICL-NUIM）で、従来のVO手法より平均誤差を低く達成する。
• DPVOは VO モードで、従来の密なフロー手法（DROID-SLAM など）より1.5–8.9倍速く、メモリは57–29%を使用する。
• 60 FPSバリアントは約4.9 GBのメモリを使用し、120 FPSバリアントは RTX-3090 で約2.5 GB、比較的安定したフレームレートを持つ。
• 更新演算子と微分可能なBAを備えたパッチベースの対応付けは、 dense flow を用いずとも高い頑健性をもたらす。
• ランダムなパッチセントロイド選択は良好に機能し、アブレーションはパッチベースの特徴と更新コンポーネントの重要性を示す。