[論文レビュー] Consistent Video Depth Estimation

Xuan Luo, Jia‐Bin Huang+3 more|arXiv (Cornell University)|Apr 30, 2020

Advanced Vision and Imaging参考文献 89被引用数 9

ひとこと要約

本論文では、単眼動画からグローバルに一貫性のある高密度な深度マップを生成するために、従来の構造からモーション（SfM）と事前学習済みの単一画像深度推定ネットワークを組み合わせたテスト時微調整手法を提案する。COLMAPからの幾何的制約と学習済みの事前分布を活用することで、特に動的またはテクスチャが豊富なシーンにおいて、従来手法よりも高い精度と時間的安定性を達成する。

ABSTRACT

We present an algorithm for reconstructing dense, geometrically consistent depth for all pixels in a monocular video. We leverage a conventional structure-from-motion reconstruction to establish geometric constraints on pixels in the video. Unlike the ad-hoc priors in classical reconstruction, we use a learning-based prior, i.e., a convolutional neural network trained for single-image depth estimation. At test time, we fine-tune this network to satisfy the geometric constraints of a particular input video, while retaining its ability to synthesize plausible depth details in parts of the video that are less constrained. We show through quantitative validation that our method achieves higher accuracy and a higher degree of geometric consistency than previous monocular reconstruction methods. Visually, our results appear more stable. Our algorithm is able to handle challenging hand-held captured input videos with a moderate degree of dynamic motion. The improved quality of the reconstruction enables several applications, such as scene reconstruction and advanced video-based visual effects.

研究の動機と目的

• 単眼動画からの深度推定における幾何的不一致やフレーム間のちらつきの課題に取り組む。
• 通常のマルチビューステレオ手法の限界を克服する。特に、動きやテクスチャが乏しい領域により不完全な再構成が生じる傾向があるため。
• 学習ベースの事前分布を活用して、制約が少ない領域に妥当な深度詳細を合成するが、グローバルな一貫性を維持する。
• 中程度の動的運動を伴う、手で撮影された日常的な動画に対しても、頑健な深度推定を可能にする。
• 3Dシーン再構築や動画ベースの自動ビジュアルエフェクトといった高度な応用を支援する。

提案手法

• 単眼動画からCOLMAPを用いてスパースな3次元構造とカメラポーズを計算し、幾何的制約を確立する。
• FlowNet2を用いてフレーム間のオプティカルフローを抽出し、前向き・後向きの整合性チェックを適用して信頼性の低いフローをフィルタリングする。
• COLMAPの幾何的制約とフローを用いて、テスト時に事前学習済みの単一画像深度推定ネットワークを微調整する。
• 微調整の損失関数を、フレーム間の光度的一致性と幾何的一致性の組み合わせとして定式化する。
• 低信頼度領域における詳細な深度生成能力を維持するため、事前学習済みのインダクティブバイアスを保持する。
• 中央値スケーリングを用いてスパース再構築に一致させることで、グローバルスケールの一貫性を保証する。

実験結果

リサーチクエスチョン

• RQ1 学習済みの深度事前分布を、動画シーケンス全体で幾何的一致性を強制するために効果的に適応できるか？
• RQ2 幾何的制約を用いたテスト時微調整は、独立したフレーム予測と比較して、深度の精度と時間的安定性をどのように向上させるか？
• RQ3 事前学習済みの単一画像深度モデルが、動的運動下でも動画に一般化し、一貫性を保てる範囲はどの程度か？
• RQ4 動きぼけ、小さな基線、動的な物体を含む困難な現実世界の動画において、本手法の性能はいかがなものか？
• RQ5 得られた一貫性のある深度マップにより、不一致な深度マップでは実現不可能な新たな動画ベースのビジュアルエフェクトが可能になるか？

主な発見

• KITTIベンチマークでは、低解像度（384×112）出力において、絶対相対誤差（Abs Rel）が0.130、<1.25の精度が0.878を達成し、Monodepth2や他の最先端手法を上回った。
• ちらつきや幾何的不一致が低減され、中程度の動的運動を伴うシーンでも時間的に安定した深度マップを生成した。
• 定量的評価では、KITTI Eigenスプリットにおいて、絶対相対誤差が0.144、<1.25の精度が0.979を達成し、一貫性と精度の両面で従来手法を顕著に上回った。
• 視覚的結果では、動く物体やテクスチャが乏しい領域の取り扱いが向上し、穴が少なく、より現実的な深度詳細が得られた。
• 本手法により、補足動画に示すように、深度に依存する合成や3次元シーンの操作といった、新たな動画ベースのビジュアルエフェクトが可能になった。
• ポーズ推定や処理速度の制限は存在するが、既存の単眼深度推定技術と比較して、困難な現実世界の動画において優れた性能を達成した。