[論文レビュー] Structured Depth Prediction in Challenging Monocular Video Sequences

Miaomiao Liu, Mathieu Salzmann+1 more|arXiv (Cornell University)|Nov 19, 2015

Advanced Vision and Imaging参考文献 38被引用数 3

ひとこと要約

本論文は、非並進的カメラ運動と動的シーンを伴う困難な条件下で、モノクローラル動画シーケンスの構造的深度推定フレームワークを提案する。深度推定をグラフィカルモデルにおける離散的・連続的最適化問題として定式化し、粒子信念伝播を用いる。この手法は、短期的な時間的整合性を確保する二フレーム条件付きランダムフィールド（CRF）と、長距離の空間的・時間的整合性をモデル化する完全結合CRFに拡張され、NYUv2、Make3D、MSR-V3Dデータセットにおいて最先端の性能を達成し、動的シーンにおける深度境界の保持と現実性が向上した。

ABSTRACT

In this paper, we tackle the problem of estimating the depth of a scene from a monocular video sequence. In particular, we handle challenging scenarios, such as non-translational camera motion and dynamic scenes, where traditional structure from motion and motion stereo methods do not apply. To this end, we first study the problem of depth estimation from a single image. In this context, we exploit the availability of a pool of images for which the depth is known, and formulate monocular depth estimation as a discrete-continuous optimization problem, where the continuous variables encode the depth of the superpixels in the input image, and the discrete ones represent relationships between neighboring superpixels. The solution to this discrete-continuous optimization problem is obtained by performing inference in a graphical model using particle belief propagation. To handle video sequences, we then extend our single image model to a two-frame one that naturally encodes short-range temporal consistency and inherently handles dynamic objects. Based on the prediction of this model, we then introduce a fully-connected pairwise CRF that accounts for longer range spatio-temporal interactions throughout a video. We demonstrate the effectiveness of our model in both the indoor and outdoor scenarios.

研究の動機と目的

• 非並進的カメラ運動と動的シーンを伴うモノクローラル動画シーケンスにおける深度推定の課題に取り組むこと。ここでは、従来のSFMSやモーションステレオ手法が失敗する。
• 単一画像深度推定の限界を補うために、動画フレーム間の空間的・時間的整合性を統合すること。
• 深度、運動、シーン構造（静的 vs. 動的）を統一された確率的枠組み内で同時に推論できる構造的予測モデルを開発すること。
• 外部アノテーションやセマンティックラベルに依存せずに、複雑なシーンにおける深度境界の正確性と時間的滑らかさを向上させること。
• 標準ベンチマークデータセットにおいて、単一フレーム手法および先行の動画ベース深度推定手法を上回る優れた性能を示すこと。

提案手法

• 連続変数をスーパーピクセルの深度とし、離散変数を隣接するスーパーピクセル間の幾何的関係（例：隠蔽、同一平面上性）を符号化することで、モノクローラル深度推定を離散的・連続的最適化問題として定式化する。
• 混合離散的・連続的推論問題に対処するため、粒子信念伝播を用いて得られた高次元グラフィカルモデルにおける推論を実行する。
• 単一画像モデルを二フレーム条件付きランダムフィールド（CRF）に拡張し、空間的整合性と短期的な時間的整合性を強制する深度と運動の同時推定を実現する。
• 二フレームCRFに動きに敏感なエネルギー項を組み込み、動くオブジェクトを明示的にモデル化し、それらと周囲の深度整合性を維持する。
• 動画シーケンス全体のすべてのピクセルに対して完全結合ペairwise CRFを構築し、長距離の空間的・時間的依存関係をモデル化する。ガウスエッジポテンシャルを用いて効率的な推論を実現する。
• 二フレームCRFからの深度予測を完全結合CRFの入力として活用し、動画全体にわたる深度マップのグローバルな精練を可能にする。

実験結果

リサーチクエスチョン

• RQ1 粒子信念伝播を用いる離散的・連続的グラフィカルモデルは、外部アノテーションなしに単一のモノクローラル画像から深度を効果的に推定できるか？
• RQ2 非並進的カメラ運動と動的オブジェクトを伴う動画シーケンスに、空間的・時間的整合性を保ちながら深度推定をどのように拡張できるか？
• RQ3 短距離（二フレーム）および長距離（完全結合）の空間的・時間的依存関係をモデル化することで、困難な動画シーケンスにおける深度推定精度がどの程度向上するか？
• RQ4 動く前面分類器の導入が、動的シーンにおける深度予測の現実性と正確性にどのような影響を与えるか？
• RQ5 提案手法の動画ベースアプローチは、標準ベンチマークにおいて最先端の単一フレームおよび動画ベース深度推定手法を上回る性能を示すか？

主な発見

• 動く前面分類器を備えた二フレームCRFは、数値的誤差指標の改善が限定的であっても、定性的な結果から、深度予測の現実性が著しく向上していることが示された。
• MSR-V3Dデータセットにおいて、最終的な動画ベースモデル（Ours-Vid）は相対誤差（rel）が0.253、log10誤差が0.112、RMS誤差が1.65を達成し、単一フレームベースラインおよび先行動画手法を上回った。
• 建物1の純粋な回転シーケンスでは、RMS誤差をDepthTransferの14.1から6.54に低減し、困難なカメラ運動において優れた性能を示した。
• 完全結合CRFは、空間的および時間的滑らかさを効果的に強制しながら、深度の不連続性を保持しており、先行手法がよく見られる過剰平滑化を回避していることが定性的な比較で確認された。
• 動きに敏感なモデリングを備えた二フレームCRFは、境界の正確性が高く、隠蔽や動くオブジェクトの処理において、そのようなコンponentsを備えないモデルよりも優れた性能を示した。
• アブレーションスタディにより、動画ベースフレームワークのすべてのコンponents—特に二フレームCRFおよび完全結合CRF—が性能向上に寄与していることが確認された。全モデルは、すべての指標およびデータセットで、アブレーションバリアントを一貫して上回った。