[论文解读] DoubleFusion: Real-time Capture of Human Performances with Inner Body Shapes from a Single Depth Sensor

Tao Yu, Zerong Zheng+6 more|arXiv (Cornell University)|Apr 17, 2018

Advanced Vision and Imaging被引用 28

一句话总结

DoubleFusion 提出了一种使用单个深度传感器的实时人体动作捕捉系统，通过双层表示法同时重建详细的外部表面几何形状和合理的内部身体形态。通过在融合的TSDF体积内联合优化姿态和形变，并使用参数化的SMPL身体模型，该方法实现了鲁棒的跟踪和改进的回环闭合，尤其在快速运动中表现更优，其精度和完整性均优于先前的方法。

ABSTRACT

We propose DoubleFusion, a new real-time system that combines volumetric dynamic reconstruction with data-driven template fitting to simultaneously reconstruct detailed geometry, non-rigid motion and the inner human body shape from a single depth camera. One of the key contributions of this method is a double layer representation consisting of a complete parametric body shape inside, and a gradually fused outer surface layer. A pre-defined node graph on the body surface parameterizes the non-rigid deformations near the body, and a free-form dynamically changing graph parameterizes the outer surface layer far from the body, which allows more general reconstruction. We further propose a joint motion tracking method based on the double layer representation to enable robust and fast motion tracking performance. Moreover, the inner body shape is optimized online and forced to fit inside the outer surface layer. Overall, our method enables increasingly denoised, detailed and complete surface reconstructions, fast motion tracking performance and plausible inner body shape reconstruction in real-time. In particular, experiments show improved fast motion tracking and loop closure performance on more challenging scenarios.

研究动机与目标

• 实现仅使用单个深度摄像头实时重建外部衣物几何形状与内部身体形态。
• 克服先前单视角系统在处理快速运动和不完整表面观测时的局限性。
• 通过结合身体形态与形变表面先验，提升运动跟踪的鲁棒性与回环闭合性能。
• 消除对预扫描模板或复杂多相机系统的依赖。

提出的方法

• 提出双层表面表示：内层为参数化的SMPL身体模型，外层为动态融合的TSDF表面层。
• 采用双节点图结构——身体上节点与远身体节点，分别对靠近和远离身体区域的非刚性形变进行参数化。
• 通过在内层身体与外表面均利用对应关系，联合优化姿态与形变，实现运动跟踪。
• 直接在TSDF体积内优化SMPL形状与姿态参数，无需显式对应点搜索，从而提升效率与精度。
• 通过体素形状-姿态优化在线精炼内层身体模型，确保其始终被外表面包围。
• 通过约束内层身体形态必须适配于外表面，以保证重建过程中的几何一致性。

实验结果

研究问题

• RQ1 单个深度摄像头能否实现实时重建详细的外部衣物几何形状与合理的内部身体形态？
• RQ2 如何有效结合身体形态与姿态先验与动态表面重建，以提升跟踪鲁棒性？
• RQ3 联合优化内层身体形态与外层表面形变是否能增强快速运动场景下的回环闭合与整体性能？
• RQ4 是否可能在无需预扫描模板或多视角数据的前提下，实现准确且在线的形状-姿态优化？

主要发现

• 与BodyFusion相比，DoubleFusion将每帧跟踪误差降低了19.5%，平均误差由0.0277m降至0.0221m。
• 最大跟踪误差从BodyFusion的0.0554m降低至DoubleFusion的0.0458m，尤其在快速运动中性能显著提升。
• 即使身体的大片区域短暂被遮挡，系统仍能实现稳定的回环闭合与鲁棒跟踪。
• 重建的内层身体形态在视觉上合理，且在受试者穿着厚实衣物时，顶点平均误差仍保持较低水平。
• 体素形状-姿态优化提升了非刚性跟踪的精度，定量评估中点到平面误差显著降低。
• 在定性与定量评估中，该方法均优于DynamicFusion与BodyFusion，尤其在处理复杂快速运动时表现更优。