[論文レビュー] Dense Depth Estimation of a Complex Dynamic Scene without Explicit 3D Motion Estimation

Suryansh Kumar, Ram Srivatsav Ghorakavi+2 more|arXiv (Cornell University)|Feb 11, 2019

Advanced Vision and Imaging参考文献 31被引用数 12

ひとこと要約

本稿では、3次元運動推定を明示的に行わず、局所的に平面的であると仮定し、可能な限り剛体的（ARAP）制約を用いて、スパースな深度事前知識とオプティカルフローのみを用いて、複雑な動的シーンにおける高密度深度推定のための新規手法を提案する。この手法は、段階的にかつ効率的に正確な深度マップを生成し、SE(3)最適化や個別オブジェクトの運動推定に依存せずに、ベンチマークデータセットで優れた性能を示している。

ABSTRACT

Recent geometric methods need reliable estimates of 3D motion parameters to procure accurate dense depth map of a complex dynamic scene from monocular images \cite{kumar2017monocular, ranftl2016dense}. Generally, to estimate extbf{precise} measurements of relative 3D motion parameters and to validate its accuracy using image data is a challenging task. In this work, we propose an alternative approach that circumvents the 3D motion estimation requirement to obtain a dense depth map of a dynamic scene. Given per-pixel optical flow correspondences between two consecutive frames and, the sparse depth prior for the reference frame, we show that, we can effectively recover the dense depth map for the successive frames without solving for 3D motion parameters. Our method assumes a piece-wise planar model of a dynamic scene, which undergoes rigid transformation locally, and as-rigid-as-possible transformation globally between two successive frames. Under our assumption, we can avoid the explicit estimation of 3D rotation and translation to estimate scene depth. In essence, our formulation provides an unconventional way to think and recover the dense depth map of a complex dynamic scene which is incremental and motion free in nature. Our proposed method does not make object level or any other high-level prior assumption about the dynamic scene, as a result, it is applicable to a wide range of scenarios. Experimental results on the benchmarks dataset show the competence of our approach for multiple frames.

研究の動機と目的

• 3次元運動推定が誤差が多く、計算コストが高いため、複雑な動的シーンにおける正確な高密度深度推定の課題に対処すること。
• 深度回復に明示的な3次元運動パラメータ推定に依存する従来の幾何的手法の限界を克服すること。
• スパースな深度事前知識とオプティカルフローを活用し、SE(3)運動パラメータを解くことなく、段階的に高密度深度マップを推定する手法を開発すること。
• 局所的剛性とグローバルに可能な限り剛体的変形を仮定することで、現実のシーン動的変形に対しても頑健な深度推定を可能にすること。
• 動的シーン再構築のための運動ベースの構造からモーションパイプラインのスケーラブルで効率的な代替手段を提供すること。

提案手法

• スーパーピクセルを用いたK近傍法近似を用いて、局所的に平面的な表面の集合として動的シーンをモデル化する。
• 隣接する3次元点間の長さの一貫性を強制する、可能な限り剛体的（ARAP）制約を適用し、剛体的変形に近い変形における歪みを最小化する。
• 参照フレームにおける既知のスパースな深度を用いて、各平面の法線を初期化し、ARAP最適化により次フレームへの深度を伝搬する。
• ARAP目的関数を定式化し、剛体的運動からの逸脱を最小化するとともに、隣接する点間の3次元ユークリッド距離を保存する。
• 変形の上限（$d_{i au}$）に関する事前知識に基づく制限付き等長性制約を導入し、収束を加速させるとともに精度を向上させる。
• TRW-S最適化を適用して、平面境界を越えて深度の連続性を強制し、最終的な深度マップにおけるブロックヤングアーチファクトを低減する。

実験結果

リサーチクエスチョン

• RQ1 3次元運動パラメータを明示的に推定せずに、動的シーンにおける高密度深度推定は可能か？
• RQ2 SE(3)最適化を用いずに、現実の動的シーン変形をモデリングするための可能な限り剛体的（ARAP）制約はどの程度有効か？
• RQ3 シーン変形の上限に関する事前知識は、深度推定における収束性と精度をどの程度向上させるか？
• RQ4 複雑な動的条件下で、標準ベンチマークにおいて、本手法は運動ベースの手法と比較してどの程度の性能を示すか？
• RQ5 深度連続性制約を備えた区分的平面モデルは、個別オブジェクトの運動推定を一切行わずに、視覚的および定量的に正確な深度マップを生成できるか？

主な発見

• 本手法は、明示的な3次元運動パラメータ推定を要せず、ベンチマークデータセットで競争力ある深度推定精度を達成している。
• 長さの一貫性制約を備えたARAP定式化により、非剛体シーンでさえも安定的かつ正確なフレーム間深度伝搬が可能である。
• 制限付き等長性制約（$| ilde{d}_i - d_i| < d_{i au}$）を組み込むことで、MPI Sintelデータセットにおいて1イテレーションあたりの収束時間が約50％短縮（3.6秒から1.72秒）され、同程度の精度を維持した。
• 制限付き等長性制約下では、60〜70イテレーションで収束し、事前変形境界が利用可能な場合に高速かつ信頼性の高い最適化が実現された。
• 離散的平面分割によるブロックヤングアーチファクトが存在するが、TRW-Sベースの平滑化により、深度の連続性と視覚的品質が著しく向上した。
• 深度初期化における中程度のノイズに対しては頑健であるが、突然のオブジェクトの出現や消失に対しては脆弱であり、そのような状況では再初期化が必要となる。