[論文レビュー] Temporally coherent 4D reconstruction of complex dynamic scenes

Armin Mustafa, Hansung Kim+2 more|arXiv (Cornell University)|Mar 10, 2016

Advanced Vision and Imaging参考文献 30被引用数 10

ひとこと要約

本稿では、事前のシーン知識やキャリブレーションが不要な複雑な動的シーンにおける時間的に整合性のある4D再構成フレームワークを提示する。スパースからディンスな時間的対応を組み合わせ、共同マルチビュー分類と再構成を実現し、地図的スターカンベキシティ制約を活用することで、非剛性物体の分類と形状精度が向上した、時間的に整合性のある4Dモデルを安定して得られる。

ABSTRACT

This paper presents an approach for reconstruction of 4D temporally coherent models of complex dynamic scenes. No prior knowledge is required of scene structure or camera calibration allowing reconstruction from multiple moving cameras. Sparse-to-dense temporal correspondence is integrated with joint multi-view segmentation and reconstruction to obtain a complete 4D representation of static and dynamic objects. Temporal coherence is exploited to overcome visual ambiguities resulting in improved reconstruction of complex scenes. Robust joint segmentation and reconstruction of dynamic objects is achieved by introducing a geodesic star convexity constraint. Comparative evaluation is performed on a variety of unstructured indoor and outdoor dynamic scenes with hand-held cameras and multiple people. This demonstrates reconstruction of complete temporally coherent 4D scene models with improved nonrigid object segmentation and shape reconstruction.

研究の動機と目的

• シーン構造やカメラキャリブレーションに関する事前知識のない、複雑な動的シーンにおける時間的に整合性のある4Dモデル再構成の課題に対処する。
• 時間的整合性を活用することで、1フレームおよびマルチビュー再構成における視覚的曖昧性を克服する。
• 構造のない屋内および屋外シーンにおける静的および非剛性動的物体の完全で自己教師ありの4D再構成を可能にする。
• 空間的・時間的制約と新規幾何最適化フレームワークを統合することで、非剛性物体の分類と形状再構成を向上させる。

提案手法

• 広基準基準のカメラを用いて、時間的に整合性のある初期スパース対応を確立するための頑健なスパース3D特徴追跡を実施する。
• 空間的・時間的情報を活用して初期の密集光流を推定し、時間的に整合的だが粗い4Dモデルを生成する。
• マルチビュー分類と再構成最適化における形状整合性を強制するために、地図的スターカンベキシティ制約を導入する。
• 地図的スターカンベキシティ制約を用いて、分類と再構成の共同マルチビュー最適化を実行し、密集表面モデルを精緻化する。
• 初期スパース対応を時間的に伝搬させることで、各フレームの初期化を改善し、計算コストを低減する。
• 空間的・時間的整合性を複数の視点と時間軸にわたって強制する多層最適化フレームワークを活用し、外観に基づく曖昧性を解消する。

実験結果

リサーチクエスチョン

• RQ1 事前のシーンやカメラに関する知識がなく、複雑な動的シーンにおいて、どのように時間的に整合性のある4D再構成を達成できるか？
• RQ2 時間的整合性を活用することで、非剛性動的シーンにおける再構成精度と分類のロバスト性がどの程度向上するか？
• RQ3 地図的スターカンベキシティ制約は、マルチビュー4D再構成における形状推定と分類に有効に機能するか？
• RQ4 本手法は、フレームごとの再構成や背景補助再構成手法と比較して、効率性と精度の面で優れているか？
• RQ5 時間的整合性は、オクルージョンや前景と背景の外観が類似するといった視覚的曖昧性をどのように解消するか？

主な発見

• 提案手法は再構成の完全性と精度が著しく向上し、Dance2データセットでは99.5％の分類完全性を達成した。
• 既存の背景が既知であることを前提とした共同分類と再構成アプローチと比較して、計算コストを約50％削減した。
• 再構成結果は、特にジャグラーの右脚のような曇りやすい領域で優れた詳細回復を示しており、時間的整合性のおかげである。
• 本手法は、時間軸にわたる密集表面対応を実現する時間的に整合性のある4Dモデルを生成するが、これは先行の最先端手法では達成されていなかった能力である。
• 定量的評価では一貫した性能向上が示され、Dance1では99.2％および99.4％の完全性、Officeでは99.3％および99.0％の完全性を達成し、既存手法を上回った。
• 地図的スターカンベキシティ制約により、複雑なシーンにおけるより正確で安定した分類と形状推定が可能になった。