[論文レビュー] DF-VO: What Should Be Learnt for Visual Odometry?

Huangying Zhan, Chamara Saroj Weerasekera+3 more|arXiv (Cornell University)|Mar 1, 2021

Advanced Vision and Imaging参考文献 55被引用数 26

ひとこと要約

DF-VO は深層深度予測と光学フロー予測を多視几何と組み合わせ、単眼ビジュアルオドメトリのスケールドリフトと動的シーンに対処し、KITTI で最先端の成績を達成します。

ABSTRACT

Multi-view geometry-based methods dominate the last few decades in monocular Visual Odometry for their superior performance, while they have been vulnerable to dynamic and low-texture scenes. More importantly, monocular methods suffer from scale-drift issue, i.e., errors accumulate over time. Recent studies show that deep neural networks can learn scene depths and relative camera in a self-supervised manner without acquiring ground truth labels. More surprisingly, they show that the well-trained networks enable scale-consistent predictions over long videos, while the accuracy is still inferior to traditional methods because of ignoring geometric information. Building on top of recent progress in computer vision, we design a simple yet robust VO system by integrating multi-view geometry and deep learning on Depth and optical Flow, namely DF-VO. In this work, a) we propose a method to carefully sample high-quality correspondences from deep flows and recover accurate camera poses with a geometric module; b) we address the scale-drift issue by aligning geometrically triangulated depths to the scale-consistent deep depths, where the dynamic scenes are taken into account. Comprehensive ablation studies show the effectiveness of the proposed method, and extensive evaluation results show the state-of-the-art performance of our system, e.g., Ours (1.652%) v.s. ORB-SLAM (3.247%}) in terms of translation error in KITTI Odometry benchmark. Source code is publicly available at: \href{https://github.com/Huangying-Zhan/DF-VO}{DF-VO}.

研究の動機と目的

• 深層学習と幾何学の両方を活用した頑健な単眼 VO システムを推進する。
• 密な光学フローから高品質な対応点を抽出して信頼性のある姿勢推定を行う。
• スケール一貫性のある深度予測を用いて長い映像全体でグローバルスケールを回復・維持する。
• 反復的なスケール回復と頑健な対応点選択により動的シーンに対応する。
• エピポーラ幾何と PnP ベースの追跡の間にハイブリッドなトラッカー選択フレームワークを提供する。

提案手法

• 各画像ペアに対して密な光学フローと単一視点深度を予測する。
• 前方-後方フロー整合性を用いて高品質な 2D-2D 対応を選択する。
• エピポーラ幾何ベースの E-トラッカーと PnP トラッカーという2つのトラッカーで動作を推定する。
• 三角測量深度をスケール一貫性のあるネットワーク深度に合わせてスケールを回復し、動的要因に対して反復的に改良する。
• 幾何学的堅牢情報量基準 GRIC を用いてトラッカー間を選択し、頑健性のために RANSAC を適用する。
• フォトメトリック損失と深度整合性損失を用いた自己教師ありフレームワークで深度と姿勢ネットワークを訓練する。

実験結果

リサーチクエスチョン

• RQ1 深層予測の深度と光学フローを、頑健な単眼 VO のために古典的な多視几何とどのように統合できるか。
• RQ2 三角測量深度をスケール一貫性のある深度予測と整合させることでスケールドリフトを低減できるか。
• RQ3 長い軌跡にわたって精度を維持するために、単眼 VO の動的シーンを最も効果的に扱う戦略は何か。
• RQ4 GRIC に基づくモデル選択を備えたハイブリッド E-トラッカーと PnP トラッカーは、単一の幾何モデルを使用する場合より頑健性を向上させるか。
• RQ5 高度に動的な環境での反復的なスケール回復の性能はどうなるか。

主な発見

• DF-VO は KITTI Odometry において翻訳誤差で最先端を達成し、1.652% 対 ORB-SLAM の 3.247%。
• 双方向フロー整合性に基づくサンプリング方式が 2D-2D 対応の品質を向上させる。
• スケール一貫性のある深度予測が長いシーケンスにわたる頑健なスケール回復と追跡を可能にする。
• 動的シーンでの深度-フロー対を整合性でフィルタリングすることにより、反復的なスケール回復手法が性能を向上させる。
• GRIC ベースのモデル選択が E-トラッカーと PnP トラッカーの切り替えを効果的に行い、退化を回避する。
• 提案手法の各成分の有効性を示す包括的なアブレーション研究。