[論文レビュー] SfMLearner++: Learning Monocular Depth & Ego-Motion using Meaningful Geometric Constraints

Vignesh Prasad, Brojeshwar Bhowmick|arXiv (Cornell University)|Dec 20, 2018

Advanced Vision and Imaging被引用数 6

ひとこと要約

SfMLearner++ は、エピポーラ制約を基本行列を介して統合することにより、単眼深度および自己運動推定のための幾何的制約付き学習手法を提案する。複雑な損失関数や大規模なネットワークを用いずに、対応の正確性を向上させ、パラメータ数を減らしながら最先端の性能を達成し、Cityscapes や Make3D といった未学習データセットに対しても優れた一般化性能を示す。

ABSTRACT

Most geometric approaches to monocular Visual Odometry (VO) provide robust pose estimates, but sparse or semi-dense depth estimates. Off late, deep methods have shown good performance in generating dense depths and VO from monocular images by optimizing the photometric consistency between images. Despite being intuitive, a naive photometric loss does not ensure proper pixel correspondences between two views, which is the key factor for accurate depth and relative pose estimations. It is a well known fact that simply minimizing such an error is prone to failures. We propose a method using Epipolar constraints to make the learning more geometrically sound. We use the Essential matrix, obtained using Nister's Five Point Algorithm, for enforcing meaningful geometric constraints on the loss, rather than using it as labels for training. Our method, although simplistic but more geometrically meaningful, using lesser number of parameters, gives a comparable performance to state-of-the-art methods which use complex losses and large networks showing the effectiveness of using epipolar constraints. Such a geometrically constrained learning method performs successfully even in cases where simply minimizing the photometric error would fail.

研究の動機と目的

• 本論文の目的は、単眼深度推定およびビジュアルオドメトリの推定を向上させることであり、単純な光度損失最小化の失敗事例に対処することにある。
• 明示的な運動マスクや複雑な損失関数に依存せずに、学習された対応の幾何的一致性を向上させることにある。
• 基本行列を用いて、より単純で幾何学的に意味のある訓練損失を構築することを目的としている。
• パフォーマンスを維持または向上させながら、大規模なネットワークや計算コストの高い損失関数への依存を減らすことにある。
• 動的シーンにおいて、説明可能性マスクの必要性を補完または置き換えるためにエピポーラ制約が有効に機能するかを検討する。

提案手法

• 本手法は、Nistér の 5 点アルゴリズムを用いて計算された基本行列を用い、トレーニング中にピクセル対応の幾何的一致性を強制する。
• 基本行列を真値として用いるのではなく、エピポーラ整合性に基づいて光度損失を重み付けし、誤った対応に高いペナルティを与える。
• 損失関数にエピポーラ損失項を追加し、エピポーラ制約からの逸脱を最小化するようにする： ˆ˜p^T E˜p。
• エッジに敏感な滑らかさ損失を適用し、深度境界を保持するとともに出力のシャープネスを向上させる。
• 訓練の安定化と深度分布の崩壊防止のため、逆深度正規化を組み込む。
• 最終的な損失は、エピポーラ制約、深度正規化の一貫性、およびエッジに敏感な滑らかさを組み合わせており、多様なシーンにおいても頑健な性能を発揮する。

実験結果

リサーチクエスチョン

• RQ1 エピポーラ制約は、単眼深度および自己運動推定の深層学習における正則化信号として効果的に利用できるか？
• RQ2 基本行列を動的損失重み付けメカニズムとして用いることで、標準的な光度損失と比較して対応の正確性が向上するか？
• RQ3 より少ないパラメータを有する単純なモデルでも、複雑な損失関数や大規模なアーキテクチャを用いる最先端手法と同等の性能を達成できるか？
• RQ4 KITTI のみで学習した場合に、Cityscapes や Make3D といった未学習データセットに対して、どの程度一般化できるか？
• RQ5 エピポーラベースの監視は、動的シーンにおける明示的な運動マスク予測の必要性を低減または排除できるか？

主な発見

• 本手法は KITTI テストスプリットで絶対相対誤差（Abs Rel）を 0.175 に達成し、説明可能性なしの SfMLearner（0.221）を上回った。
• RMSE は SfMLearner の 7.527 から 5.986 に低下し、深度推定の正確性が顕著に向上した。
• 未学習データセットへの一般化性能が優れており、Cityscapes では微調整なしで SfMLearner よりもシャープな深度出力を得た。
• Make3D では、SfMLearner よりも優れた深度品質を達成し、非街路・屋外シーンへのゼロショット一般化性能が強いことを示した。
• アブレーションスタディにより、エピポーラ制約と逆深度正規化を組み合わせると最良の性能が得られ、最終モデルでは δ < 1.253 の精度が 0.967 に達した。
• エピポーラマスクは動く物体（例：自転車乗り、車両）を効果的に特定でき、明示的な予測なしに運動マスクの代理として機能することが示唆された。