[论文解读] General Dynamic Scene Reconstruction from Multiple View Video

Armin Mustafa, Hansung Kim+2 more|arXiv (Cornell University)|Sep 30, 2015

Advanced Vision and Imaging参考文献 31被引用 8

一句话总结

本文提出了一种无监督方法，用于从多个运动相机中实现密集动态场景的重建与分割，且无需事先了解背景或场景结构。该方法使用稀疏特征匹配实现自动初始化，随后通过视图相关的图割优化联合优化分割与重建，结合光度一致性与边缘线索，在复杂杂乱场景中实现了最先进水平的精度。

ABSTRACT

This paper introduces a general approach to dynamic scene reconstruction from multiple moving cameras without prior knowledge or limiting constraints on the scene structure, appearance, or illumination. Existing techniques for dynamic scene reconstruction from multiple wide-baseline camera views primarily focus on accurate reconstruction in controlled environments, where the cameras are fixed and calibrated and background is known. These approaches are not robust for general dynamic scenes captured with sparse moving cameras. Previous approaches for outdoor dynamic scene reconstruction assume prior knowledge of the static background appearance and structure. The primary contributions of this paper are twofold: an automatic method for initial coarse dynamic scene segmentation and reconstruction without prior knowledge of background appearance or structure; and a general robust approach for joint segmentation refinement and dense reconstruction of dynamic scenes from multiple wide-baseline static or moving cameras. Evaluation is performed on a variety of indoor and outdoor scenes with cluttered backgrounds and multiple dynamic non-rigid objects such as people. Comparison with state-of-the-art approaches demonstrates improved accuracy in both multiple view segmentation and dense reconstruction. The proposed approach also eliminates the requirement for prior knowledge of scene structure and appearance.

研究动机与目标

• 在不假设背景或场景结构的前提下，实现由多个运动相机捕获的一般动态场景的密集重建与分割。
• 解决现有方法依赖已知背景、色键处理或动态物体几何强先验的问题。
• 开发一种基于稀疏多视角特征的动态物体分割与粗重建的自动初始化流程。
• 通过联合优化分割与重建，提升在存在遮挡、阴影和杂乱背景的复杂场景中的鲁棒性。
• 消除对手动或先验分割的依赖，实现在非受控环境下的完全无监督重建。

提出的方法

• 通过多视角之间的稀疏特征匹配生成粗略的重建与分割结果，实现无需先验知识的自动初始化。
• 采用视图相关的图割优化方法，结合宽基线视角的光度一致性和对比度线索，联合优化分割与密集重建。
• 将容错的光度一致性度量与边缘信息相结合，以提高匹配精度并保持物体边界清晰。
• 利用场景特征自动校准相机外参，实现来自独立运动相机的重建。
• 该方法无需已知的背景几何或外观信息，适用于一般动态场景。
• 通过泊松表面重建从优化后的点云生成密集3D网格，并为最终模型应用纹理映射。

实验结果

研究问题

• RQ1 在非受控环境中，能否在不事先了解背景外观或结构的情况下实现动态场景重建？
• RQ2 如何从稀疏多视角特征中实现动态物体分割与重建的自动初始化？
• RQ3 在存在运动相机的杂乱动态场景中，联合分割与重建优化能在多大程度上提升精度？
• RQ4 与最先进方法相比，该方法在分割与重建质量方面表现如何？
• RQ5 与现有多视角立体与重建技术相比，该方法的计算效率如何？

主要发现

• 与最先进方法相比，该方法在分割与重建精度方面表现更优，尤其在户外和杂乱场景中优势显著。
• 在网格质量方面，该方法显著优于Guillemaut [10] 和 Furukawa [8]，边界更清晰，伪影更少，尤其在Juggler和Magician等复杂序列中表现突出。
• 与Guillemaut相比，计算效率提高了约25%，各数据集的帧处理时间在295秒至501秒之间。
• 该方法消除了对背景或分割先验知识的需求，实现了在一般动态场景中的无监督重建。
• 尽管在处理无纹理或高度拥挤场景时存在局限，该方法在包含多个非刚性动态物体的挑战性数据集上仍表现出稳健性能。
• 定量评估表明，即使没有真实标签，该方法生成的深度图更一致，网格结构更优，优于基线方法。