[論文レビュー] General Dynamic Scene Reconstruction from Multiple View Video

Armin Mustafa, Hansung Kim+2 more|arXiv (Cornell University)|Sep 30, 2015

Advanced Vision and Imaging参考文献 31被引用数 8

ひとこと要約

本稿では、背景やシーン構造に関する事前知識がなくとも、複数の移動するカメラからの密集した動的シーン再構築およびセグメンテーションを無教師で行う手法を提示する。スパarsity特徴マッチングを用いた自動初期化の後、写真的一致性およびエッジの手がかりを用いた視点依存のグラフカット最適化による、セグメンテーションと再構築の共同時空間的精練を実行し、複雑でごみだらけのシーンにおいて最先端の精度を達成する。

ABSTRACT

This paper introduces a general approach to dynamic scene reconstruction from multiple moving cameras without prior knowledge or limiting constraints on the scene structure, appearance, or illumination. Existing techniques for dynamic scene reconstruction from multiple wide-baseline camera views primarily focus on accurate reconstruction in controlled environments, where the cameras are fixed and calibrated and background is known. These approaches are not robust for general dynamic scenes captured with sparse moving cameras. Previous approaches for outdoor dynamic scene reconstruction assume prior knowledge of the static background appearance and structure. The primary contributions of this paper are twofold: an automatic method for initial coarse dynamic scene segmentation and reconstruction without prior knowledge of background appearance or structure; and a general robust approach for joint segmentation refinement and dense reconstruction of dynamic scenes from multiple wide-baseline static or moving cameras. Evaluation is performed on a variety of indoor and outdoor scenes with cluttered backgrounds and multiple dynamic non-rigid objects such as people. Comparison with state-of-the-art approaches demonstrates improved accuracy in both multiple view segmentation and dense reconstruction. The proposed approach also eliminates the requirement for prior knowledge of scene structure and appearance.

研究の動機と目的

• 複数の移動カメラが撮影した一般の動的シーンについて、背景やシーン構造に関する事前仮定なしに、密な再構築とセグメンテーションを可能にすること。
• 既存手法の限界に対処する。既存手法は、既知の背景、クロマキー処理、または動的物体の幾何的形状に対する強い事前知識を必要としている。
• スパarsityマルチビュー特徴を用いた、動的物体セグメンテーションおよび粗い再構築のための自動初期化パイプラインを開発すること。
• オクルージョン、影、ごみだらけの背景を伴う複雑なシーンにおいて、セグメンテーションと再構築の共同最適化により、耐障害性を向上させること。
• 手動または事前のセグメンテーションを不要とし、制御されていない環境でも完全に無教師の再構築を可能とすること。

提案手法

• 複数のビュー間でのスパarsity特徴マッチングから、事前知識なしに自動初期化可能な粗い再構築とセグメンテーションが生成される。
• 広基線ビューからの写真的一致性およびコントラストの手がかりを用いて、視点依存のグラフカット最適化により、セグメンテーションと密な再構築を共同で精錬する。
• 誤差に強い写真的一致性測定とエッジ情報が統合され、マッチング精度が向上し、物体境界が保持される。
• シーン特徴を用いてカメラの外挿パラメータが自動的にキャリブレーションされ、独立して移動するカメラからの再構築が可能になる。
• 既知の背景の幾何的形状や外観を必要とせず、一般の動的シーンをサポートする。
• 精錬された点群からポisson表面再構築を用いて密な3Dメッシュが再構築され、最終モデルにテクスチャマッピングが適用される。

実験結果

リサーチクエスチョン

• RQ1 制御されていない環境において、背景の外観や構造に関する事前知識なしに、動的シーン再構築を達成できるか？
• RQ2 スパarsityマルチビュー特徴から、動的物体セグメンテーションおよび再構築の自動初期化をどのように達成できるか？
• RQ3 共同セグメンテーション・再構築精錬は、移動するカメラを伴うごみだらけの動的シーンにおいて、どの程度精度を向上させられるか？
• RQ4 セグメンテーションおよび再構築品質の面で、提案手法は最先端の手法と比較してどのように差をつけるか？
• RQ5 既存のマルチビューステレオおよび再構築技術と比較して、提案手法の計算効率はどの程度か？

主な発見

• 提案手法は、特に屋外やごみだらけのシーンにおいて、最先端の手法と比較して優れたセグメンテーションおよび再構築精度を達成する。
• メッシュ品質において、Guillemaut [10] や Furukawa [8] より顕著に優れており、境界が明瞭でアーチファクトが少ない。特に Juggler や Magician のような複雑なシーケンスで顕著である。
• Guillemaut と比較して約25％の計算効率の向上が達成され、データセット全体で1フレームあたり295秒から501秒の実行時間である。
• 背景やセグメンテーションに関する事前知識の必要性が排除され、一般の動的シーンにおける無教師再構築が可能になる。
• テクスチャのないまたは非常に混雑したシーンの処理には限界があるものの、複数の非剛体動的物体を含む挑戦的なデータセットにおいても、頑健な性能を示す。
• 定量的評価により、真値がなくても、提案手法はベースライン手法よりも一貫性のある深度マップとより構造化されたメッシュを生成することが確認された。