[論文レビュー] Learning Depth from Monocular Videos using Direct Methods

Chaoyang Wang, José M. Buenaposada+2 more|arXiv (Cornell University)|Dec 1, 2017

Advanced Vision and Imaging参考文献 2被引用数 35

ひとこと要約

本稿では、先行研究におけるポーズCNNを、微分可能でパラメータを必要としないDirect Visual Odometry（DDVO）モジュールと、新しい深度正規化戦略に置き換えることで、単眼動画からの非教師あり深度推定の新手法を提案する。本手法はKITTIデータセットで最先端の性能を達成し、スケールの曖昧性をよりよく扱い、ポーズ推定を経由したエンドツーエンドのバックプロパゲーションを可能にすることで、ステレオベース手法に近い精度に到達する。

ABSTRACT

The ability to predict depth from a single image - using recent advances in CNNs - is of increasing interest to the vision community. Unsupervised strategies to learning are particularly appealing as they can utilize much larger and varied monocular video datasets during learning without the need for ground truth depth or stereo. In previous works, separate pose and depth CNN predictors had to be determined such that their joint outputs minimized the photometric error. Inspired by recent advances in direct visual odometry (DVO), we argue that the depth CNN predictor can be learned without a pose CNN predictor. Further, we demonstrate empirically that incorporation of a differentiable implementation of DVO, along with a novel depth normalization strategy - substantially improves performance over state of the art that use monocular videos for training.

研究の動機と目的

• ステレオベースと単眼非教師あり深度推定手法の間の性能格差を解消すること。
• スケールに敏感な深度正則化に起因する、既存の単眼深度学習フレームワークにおけるスケールの曖昧性問題を克服すること。
• 分離されたポーズCNNの必要性を排除し、トレーニングパイプラインに微分可能で決定論的なDVOモジュールを統合すること。
• DDVOの事前学習済みポーズCNNによる初期化を用いるハイブリッドトレーニング戦略により、トレーニングの安定性と精度を向上させること。

提案手法

• 非教師あり手法のポーズCNNを、ポーズ推定を経由したバックプロパゲーションを可能にする、Direct Visual Odometry（DDVO）の微分可能実装に置き換える。
• スケール感度を軽減し、トレーニング収束を改善するための新しい深度正規化戦略を導入する。
• DDVOモジュールを用いてカメラポーズを計算し、ワープされた画像とターゲットフレーム間の光度再構成誤差を最小化する訓練目的を定式化する。
• ハイブリッドトレーニング手順を用いる：初期トレーニング段階で、事前学習済みのPose-CNNからのポーズ予測でDDVOモジュールを初期化することで、初期化の質を向上させ、悪い局所最適解を回避する。
• ポーズから深度予測にまで勾配が伝わるエンドツーエンドの微分可能性を確保するため、DVOパイプライン全体を微分可能にする。
• DVOが、全体の訓練目的に使用される同じ画像再構成損失に基づく幾何的制約を活用する。

実験結果

リサーチクエスチョン

• RQ1 なぜ既存の単眼非教師あり深度推定手法は、特にスケールの曖昧性に起因するため、ステレオベース手法に到達できないのか？
• RQ2 学習可能なポーズCNNに置き換えることのできる、微分可能でパラメータを必要としないDVOモジュールは、深度推定性能の向上に寄与できるか？
• RQ3 深度正規化は、単眼動画環境下での非教師あり深度トレーニングの安定性と精度にどのように影響を与えるか？
• RQ4 事前学習済みポーズCNNでDDVOモジュールを初期化することで、DDVOまたはPose-CNNを別個に学習するのと比較して、より良い収束と性能が得られるか？

主な発見

• 提案手法はKITTI深度推定ベンチマークで最先端の性能を達成し、Zhouら[31]を上回り、ステレオベース手法に近い精度に到達する。
• 非微分可能DVOと比較して、微分可能DVO（DDVO）モジュールは、短い動画クリップにおけるトレーニング損失曲線から示されるように、より速く収束し、より良い局所最適解に到達する。
• DDVOモジュールを事前学習済みPose-CNNで初期化することで、DDVOまたはPose-CNNを単独で学習するのと比較して、著しく優れた性能が得られる。
• ハイブリッドトレーニング戦略（Pose-CNN + DDVO）は、KITTIシーケンス09で絶対軌道誤差（ATE）0.045±0.108、シーケンス10で0.033±0.074を達成し、Zhouら[31]を上回り、フル動画入力を用いたORB-SLAMの性能と同等となる。
• 定性的な結果から、本手法はZhouら[31]と比較して、木の幹や広告板といったより細かな幾何的詳細をより正確に回復している。
• 深度正規化戦略は、従来の単眼手法で見られる発散の主な要因であるスケール感度を効果的に低減している。