[论文解读] Function4D: Real-time Human Volumetric Capture from Very Sparse Consumer RGBD Sensors

Tao Yu, Zerong Zheng+4 more|arXiv (Cornell University)|May 5, 2021

Advanced Vision and Imaging参考文献 57被引用 9

一句话总结

Function4D 提出了一种仅使用3个稀疏消费级RGBD传感器的实时人体体素捕获系统，结合动态滑动融合以实现拓扑一致的体素融合，以及保留细节的深度隐式函数以实现高保真表面重建。与以往方法相比，该系统在重建质量、时间一致性及效率方面表现更优，即使在快速运动和全身遮挡等挑战性条件下亦表现卓越。

ABSTRACT

Human volumetric capture is a long-standing topic in computer vision and computer graphics. Although high-quality results can be achieved using sophisticated off-line systems, real-time human volumetric capture of complex scenarios, especially using light-weight setups, remains challenging. In this paper, we propose a human volumetric capture method that combines temporal volumetric fusion and deep implicit functions. To achieve high-quality and temporal-continuous reconstruction, we propose dynamic sliding fusion to fuse neighboring depth observations together with topology consistency. Moreover, for detailed and complete surface generation, we propose detail-preserving deep implicit functions for RGBD input which can not only preserve the geometric details on the depth inputs but also generate more plausible texturing results. Results and experiments show that our method outperforms existing methods in terms of view sparsity, generalization capacity, reconstruction quality, and run-time efficiency.

研究动机与目标

• 实现仅使用极少量（最少3个）消费级RGBD传感器的实时、高保真人体体素捕获。
• 克服现有系统依赖密集相机阵列、高端传感器或长期跟踪的局限性。
• 在复杂场景（如快速运动、衣物变化及多人交互）下实现时间一致且几何细节丰富的重建。
• 通过将深度隐式函数与短期体素融合结合，降低对长期非刚性跟踪的依赖。
• 公开提供包含500组高分辨率扫描的基准数据集，以推动未来实时3D人体重建研究。

提出的方法

• 提出动态滑动融合方法，将时间融合限制在滑动窗口内，从而在保持时间连续性的同时，提升对跟踪误差和拓扑变化的鲁棒性。
• 显式编码截断投影有符号距离函数（PSDF）特征，以从噪声较大的深度输入中保留几何细节。
• 在特征聚合阶段引入多视角自注意力机制，实现动态、相关性感知的多视角几何与纹理特征融合。
• 训练名为GeoNet的深度隐式函数网络，从融合的体素数据中重建高保真表面，明确利用PSDF值以提升精度。
• ColorNet采用类似的注意力架构，从多视角RGB输入中推断高质量、合理的纹理。
• 将体素融合与隐式神经表示统一整合于一个端到端管道中，实现在消费级硬件上的实时推理。

实验结果

研究问题

• RQ1 能否仅使用3个消费级RGBD传感器实现实时、高质量的人体体素捕获？
• RQ2 如何使体素融合在动态场景中对拓扑变化和长期跟踪漂移保持鲁棒性？
• RQ3 当输入为稀疏、噪声较大的深度数据时，深度隐式函数能否有效保留几何细节并生成合理纹理？
• RQ4 截断PSDF编码在提升重建精度与效率方面发挥何种作用？
• RQ5 多视角自注意力机制如何改善纹理与几何重建的特征聚合？

主要发现

• Function4D在3传感器配置下实现了最先进水平的重建质量，优于现有方法在视图稀疏性、泛化能力及运行效率方面的表现。
• 动态滑动融合方法有效降低噪声并提升拓扑一致性，即使在严重遮挡和快速运动下，仍能生成完整且时间连续的重建结果。
• 与未使用PSDF的模型相比，采用截断PSDF特征可使Chamfer距离降低28%（1.678 vs. 2.359×10⁻³）。
• ColorNet中基于注意力的特征聚合显著提升了纹理质量，尤其在视图边界区域，生成结果更清晰、更自然。
• 尽管输入更为复杂，GeoNet每帧的高保真表面重建耗时约80秒，相比IPNet快了数个数量级。
• 所提系统成功应对了穿衣、脱衣及多人交互等挑战性场景，而这些场景对基于模板或依赖长期跟踪的方法而言极具挑战。