[论文解读] Model-based Outdoor Performance Capture

Nadia Robertini, Dan Casas+3 more|arXiv (Cornell University)|Oct 21, 2016

Human Pose and Action Recognition参考文献 48被引用 7

一句话总结

该论文提出了一种基于模型的新方法，利用3D高斯的统一隐式表示，在非受控户外环境中实现高保真度的人体动作捕捉。通过分两个阶段联合优化骨骼姿态与非刚性表面形状——首先进行粗略姿态估计，然后利用“边界高斯”进行精细形状优化——该方法在无需显式轮廓分割的情况下实现了户外场景下最先进的重建质量，其性能与以往方法在室内环境中的表现相当。

ABSTRACT

We propose a new model-based method to accurately reconstruct human performances captured outdoors in a multi-camera setup. Starting from a template of the actor model, we introduce a new unified implicit representation for both, articulated skeleton tracking and nonrigid surface shape refinement. Our method fits the template to unsegmented video frames in two stages - first, the coarse skeletal pose is estimated, and subsequently non-rigid surface shape and body pose are jointly refined. Particularly for surface shape refinement we propose a new combination of 3D Gaussians designed to align the projected model with likely silhouette contours without explicit segmentation or edge detection. We obtain reconstructions of much higher quality in outdoor settings than existing methods, and show that we are on par with state-of-the-art methods on indoor scenes for which they were designed

研究动机与目标

• 解决在传统轮廓基方法因光照变化和动态背景而失效的非受控户外场景中实现高质量人体动作捕捉的挑战。
• 在无需显式前景分割或边缘检测的情况下，实现对人体关节姿态和非刚性表面几何形状的精确重建。
• 开发一种基于3D高斯的统一隐式表示，联合建模骨骼姿态与表面形状，以提升优化效率与时间一致性。
• 在户外场景中实现与最先进室内方法相当的重建质量，同时显著优于现有户外方法。
• 在具有复杂背景和动态光照的真实户外序列中展示方法的鲁棒性与准确性。

提出的方法

• 该方法采用两阶段拟合流程：首先使用体素化3D高斯优化粗略骨骼姿态，然后联合优化姿态与非刚性表面形状。
• 基于3D高斯的统一隐式表示同时建模粗略身体形状与精细表面几何，实现可微分且高效的优化。
• 在表面优化阶段引入“边界高斯”——一种专门设计的3D高斯组合，用于在不进行显式分割的情况下将投影模型轮廓对齐至可能的轮廓区域。
• 每张输入图像也被转换为隐式表示，从而实现观测轮廓与预测轮廓之间的一致比较。
• 目标函数通过可微渲染与隐函数优化，最小化投影模型与输入图像之间的光度与几何差异。
• 该方法在未分割的视频帧上运行，避免依赖预计算的轮廓或背景减除。

实验结果

研究问题

• RQ1 统一的3D高斯隐式表示是否能够实现在未分割户外视频中骨骼姿态与非刚性表面形状的精确联合优化？
• RQ2 ‘边界高斯’是否能有效引导表面优化，使其在无需显式边缘检测或分割的情况下对准正确的轮廓区域？
• RQ3 与单阶段或依赖分割的方法相比，两阶段拟合流程（先粗略姿态，再联合优化）在复杂户外场景中如何提升重建质量？
• RQ4 该基于模型的方法在具有动态背景和可变光照的户外场景中，能在多大程度上实现与最先进室内方法相当的性能？
• RQ5 该方法是否能在无手动干预的情况下，保持松散衣物和复杂形变序列中的时间一致性与高几何保真度？

主要发现

• 在网格优化后，大教堂序列的F1分数达到0.9362 ± 0.0033，万国校园序列达到0.9223 ± 0.0083，显著优于第一阶段结果。
• 在已知颜色背景的裙子序列中，该方法的F1分数达到0.9676 ± 0.0056，与Gall等人（0.9683 ± 0.0045）的轮廓基方法相当。
• 在优化阶段同时使用表面高斯与边界高斯，相较于仅使用第一阶段的高斯，显著且一致地提升了轮廓重叠度。
• 定性结果表明，即使在具有移动背景的复杂户外场景中，也能生成时间一致、细节丰富的3D网格，且无噪声或几何伪影。
• 通过重新投影原始图像，该方法成功重建了带纹理的模型，展示了精确的表面几何与外观对齐。
• 该方法在以往基于模型的方法失效的户外环境中实现了高质量重建，同时达到了最先进室内方法的性能水平。