[論文レビュー] Monocular Dense 3D Reconstruction of a Complex Dynamic Scene from Two Perspective Frames

Suryansh Kumar, Yuchao Dai+1 more|arXiv (Cornell University)|Aug 15, 2017

Advanced Vision and Imaging参考文献 21被引用数 11

ひとこと要約

本稿では、2枚の透視投影フレームからの複雑な動的シーンの単眼密3D再構成を実現する SuperpixelSoup アルゴリズムを提案する。スーパーピクセルの過剰分割と、可能な限り剛体に近い（ARAP）制約を用いてスケールの曖昧さを解消する。オブジェクトセグメンテーションやテンプレート事前知識、個々のオブジェクトに対する剛体性仮定を必要とせず、最小限の入力で非剛体的で部分的に平面的なシーンを安定して再構成可能である。

ABSTRACT

This paper proposes a new approach for monocular dense 3D reconstruction of a complex dynamic scene from two perspective frames. By applying superpixel over-segmentation to the image, we model a generically dynamic (hence non-rigid) scene with a piecewise planar and rigid approximation. In this way, we reduce the dynamic reconstruction problem to a "3D jigsaw puzzle" problem which takes pieces from an unorganized "soup of superpixels". We show that our method provides an effective solution to the inherent relative scale ambiguity in structure-from-motion. Since our method does not assume a template prior, or per-object segmentation, or knowledge about the rigidity of the dynamic scene, it is applicable to a wide range of scenarios. Extensive experiments on both synthetic and real monocular sequences demonstrate the superiority of our method compared with the state-of-the-art methods.

研究の動機と目的

• 従来の剛体な構造から運動による再構成（SfM）が非剛体性や事前知識の欠如により失敗する複雑な動的シーンにおける密な3D再構成の課題に対処すること。
• 一般の動的環境では困難で誤りが生じやすいオブジェクトレベルの運動セグメンテーションの必要性を排除すること。
• 幾何的制約を用いて、単眼3D再構成に内在する相対的スケールの曖昧さを解消すること。
• 局所的に剛体で、全体として可能な限り剛体に近い変形と部分的に平面的なシーン構造という弱い仮定の下で動作する統合的フレームワークを構築すること。
• モバイル機器やリアルタイム応用に適した、わずか2枚の画像からの高精細3D再構成を可能にすること。

提案手法

• 本手法は、各画像を知覚的に一貫性のある平面に近い領域に分割するスーパーピクセルの過剰分割を用い、『スーパーピクセルのスープ』を形成する。
• 3D再構成を『3Dスーパーピクセルのパズル』として定式化し、可能なかぎり剛体に近い（ARAP）制約の下でスーパーピクセルの3D位置を最適化する。
• ARAPエネルギー項は、K近傍近隣領域内での剛体変換からのずれを最小化することで、局所的な剛性を強制する。
• 写真的一致性とARAP正則化を組み合わせたコスト関数を用いて、2視点間のスーパーピクセルをグローバル最適化フレームワークで整合化する。
• 透視投影とスケールの曖昧さを考慮した非凸最適化問題を解くことで、深度と3D構造を同時に推定する。
• 部分的に平面な仮定を活用することで再構成問題を単純化し、非剛体運動に対するロバスト性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 オブジェクトレベルのセグメンテーションを一切行わず、2枚の透視投影フレームからのみ、複雑な動的シーンの密な3D再構成が可能か？
• RQ2 複数視点の制約ではなく、幾何的事前知識を用いて、単眼3D再構成における相対的スケールの曖昧さを解消できるか？
• RQ3 可能な限り剛体に近い（ARAP）制約が、非剛体的で部分的に平面的なシーンの正確な再構成を可能にするか？
• RQ4 K-NNグラフにおけるKの値の選択が、シーンの複雑さの変動に伴う再構成品質にどのように影響するか？
• RQ5 2視点のみを用いても、統合的フレームワークが複数フレームを用いる手法を上回る性能を発揮できるか？

主な発見

• 提案手法の SuperpixelSoup は、MPI Sintel、Virtual KITTI、KITTI などのベンチマークデータセットで、競合手法が複数フレームを用いる場合でさえも最先端の再構成精度を達成した。
• Kinect_Paper および Kinect_Tshirt データセットでは、2フレームのみを用いても、GLRT や BMM、PTA などの複数フレーム非剛体 SfM 手法を平均深度誤差の観点で上回った。
• ARAP 制約を活用することで、外部キャリブレーションを必要とせず、単眼再構成における相対的スケールの曖昧さを効果的に解消した。
• 実験により、K=15–20 が最適な再構成品質をもたらすことが判明した。Kが低すぎると過学習が生じ、高すぎると過剰平滑化や誤った領域統合が発生する。
• YouTube-Objects データセットにおける可視化結果は、真値がなくても実世界の動画シーケンスに対してロバストであることを示し、実用的応用の有効性を確認した。
• 隣接するスーパーピクセル間の関係が大規模な動きによって損なわれても、本手法は依然として有効であるが、極端な状況では性能が低下することが補足資料で示された。