[論文レビュー] Visual Odometry Revisited: What Should Be Learnt?

Huangying Zhan, Chamara Saroj Weerasekera+2 more|arXiv (Cornell University)|Sep 21, 2019

Advanced Vision and Imaging参考文献 62被引用数 11

ひとこと要約

本稿では、自己教師付き畳み込みニューラルネットワーク（CNN）を用いて単一視点深度と光流を中間出力として予測することで、深層学習と幾何的制約を統合する単眼ビジュアルオドメトリ（DF-VO）を提案する。これらの予測を活用して2D-2Dおよび3D-2Dの対応関係を確立することで、純粋な深層学習的手法や幾何ベースの手法よりも優れた精度と耐障害性を達成するとともに、スケール一貫性のある深度監視によってスケールドリフトを解消する。

ABSTRACT

In this work we present a monocular visual odometry (VO) algorithm which leverages geometry-based methods and deep learning. Most existing VO/SLAM systems with superior performance are based on geometry and have to be carefully designed for different application scenarios. Moreover, most monocular systems suffer from scale-drift issue.Some recent deep learning works learn VO in an end-to-end manner but the performance of these deep systems is still not comparable to geometry-based methods. In this work, we revisit the basics of VO and explore the right way for integrating deep learning with epipolar geometry and Perspective-n-Point (PnP) method. Specifically, we train two convolutional neural networks (CNNs) for estimating single-view depths and two-view optical flows as intermediate outputs. With the deep predictions, we design a simple but robust frame-to-frame VO algorithm (DF-VO) which outperforms pure deep learning-based and geometry-based methods. More importantly, our system does not suffer from the scale-drift issue being aided by a scale consistent single-view depth CNN. Extensive experiments on KITTI dataset shows the robustness of our system and a detailed ablation study shows the effect of different factors in our system.

研究の動機と目的

• 単眼ビジュアルオドメトリにおける持続的なスケールドリフト問題に取り組む。これは、6自由度（6DoF）の運動の不確実性により、幾何ベースのシステムに根ざしている。
• エンドツーエンドの深層学習オドメトリシステムの限界を克服する。これは、好条件下でも幾何ベース手法の信頼性と精度に劣るためである。
• 深層学習の予測（深度と光流）と古典的幾何手法（エピポーラ幾何、PnP）の最適統合を検討し、フレーム間オドメトリの耐障害性を高めることを目的とする。
• 自己教師付き深度および光流ネットワークによる中間監視が、スケール一貫性を実現し、完全なエンドツーエンド学習なしで性能向上を達成できることを示すこと。

提案手法

• スケール一貫性を保証するための深度整合性損失を用いた単一視点深度予測用のCNNと、2視点光流推定用のCNNを別々に訓練する。
• 前向き・後向き光流の整合性をフィルタリング基準として用い、高品質な2D-2D特徴対応関係を選別する。
• 予測された深度と光流を組み合わせて、2Dマッチングから3D-2D対応関係を生成し、PnPに基づく頑健なポーズ推定を可能にする。
• 単眼またはステレオシーケンスで訓練されたスケール一貫性のある深度予測ネットワークを用いて、単眼システム固有のスケールの曖昧性を解消する。
• フィルタリングされた2D-2Dおよび3D-2Dマッチングを用いてフレーム間PnPアルゴリズムを実行し、長時間にわたるシーケンスでもドリフトを最小限に抑える相対カメラポーズを推定する。
• 正確なポーズや深度の教師データに依存しないように、光度ワープ損失を用いた自己教師付き学習を実施する。

実験結果

リサーチクエスチョン

• RQ1 深層学習の予測（深度と光流）を古典的幾何手法と効果的に統合することで、単眼ビジュアルオドメトリの性能向上が達成できるか？
• RQ2 スケール一貫性のある深度予測ネットワークを用いることで、標準的な幾何ベースシステムと比較して、単眼VOにおける移動ドリフトが顕著に低減されるか？
• RQ3 ハイブリッド深層-幾何オドメトリシステムの性能は、純粋な深層学習および純粋な幾何ベースのベースラインと比較して、どのように異なるか？
• RQ4 異なる学習方式（単眼対ステレオ、自己教師付き対教師あり）が、最終的なオドメトリシステムの耐障害性および精度に与える影響は何か？

主な発見

• DF-VOはKITTIデータセット上において、純粋な深層学習ベースおよび幾何ベースの手法を上回り、全シーケンスで最小の相対ポーズ誤差（RPE）を達成した。
• スケール一貫性のある深度モデル（Mono-SC Train.）を搭載したシステムは、ステレオで訓練されたモデルと同等の性能を発揮しながらも、依然として単眼のままであり、スケールドリフトを効果的に排除した。
• 長時間シーケンスでは、ORB-SLAM2はスケールの曖昧性のため顕著な移動ドリフトを示すが、DF-VOは低ドリフトを維持しており、スケール一貫性のある深度監視の有効性を示している。
• アブレーションスタディにより、光流整合性フィルタリングおよび高解像度入力がポーズ推定精度を向上させることを確認した。解像度の向上により明確な性能向上が得られた。
• シーケンス01で失敗したものの、深層学習手法はその挑戦的サブシーケンスにおいても幾何ベース手法を上回った。これはハイブリッドシステムにおける相補的潜在能力を示唆している。
• 深度と光流の両方の予測を用いた完全なアルゴリズムは、PnPオンativeのバージョンを著しく上回り、マルチモーダルな深層学習監視の価値を裏付けた。