[论文解读] ARCH: Animatable Reconstruction of Clothed Humans

Zeng Huang, Yuanlu Xu+3 more|arXiv (Cornell University)|Apr 8, 2020

3D Shape Modeling and Analysis参考文献 55被引用 12

一句话总结

ARCH 提出了一种端到端框架，仅从单张单目RGB图像即可重建出细节丰富、可动画化的3D着装人体模型。通过利用学习到的语义空间和形变场来归一化姿态差异，并采用感知透明度的可微分渲染进行细粒度优化，ARCH 在公开基准测试中相比最先进方法将重建误差降低了50%以上，同时生成了高保真度、可直接用于动画的绑定模型。

ABSTRACT

In this paper, we propose ARCH (Animatable Reconstruction of Clothed Humans), a novel end-to-end framework for accurate reconstruction of animation-ready 3D clothed humans from a monocular image. Existing approaches to digitize 3D humans struggle to handle pose variations and recover details. Also, they do not produce models that are animation ready. In contrast, ARCH is a learned pose-aware model that produces detailed 3D rigged full-body human avatars from a single unconstrained RGB image. A Semantic Space and a Semantic Deformation Field are created using a parametric 3D body estimator. They allow the transformation of 2D/3D clothed humans into a canonical space, reducing ambiguities in geometry caused by pose variations and occlusions in training data. Detailed surface geometry and appearance are learned using an implicit function representation with spatial local features. Furthermore, we propose additional per-pixel supervision on the 3D reconstruction using opacity-aware differentiable rendering. Our experiments indicate that ARCH increases the fidelity of the reconstructed humans. We obtain more than 50% lower reconstruction errors for standard metrics compared to state-of-the-art methods on public datasets. We also show numerous qualitative examples of animated, high-quality reconstructed avatars unseen in the literature so far.

研究动机与目标

• 为解决从非约束单目图像中重建细节丰富、可动画化的3D着装人体模型的挑战。
• 克服现有方法在处理姿态变化、遮挡问题以及缺乏动画绑定方面的局限性。
• 生成既高度详细又兼容标准动画工作流的几何与外观表示。
• 通过姿态感知的归一化与基于可微分渲染的逐像素监督，提升重建保真度。
• 实现重建模型可直接使用动作捕捉数据进行动画，无需额外绑定处理。

提出的方法

• 引入语义空间（SemS）与语义形变场（SemDF），将3D着装人体映射到规范姿态空间，以减少姿态与遮挡带来的歧义。
• 采用带有空间局部特征（如基于RBF的关节距离）的隐式神经表示，以建模高频率表面细节，如褶皱与衣物折叠。
• 使用具有透明度感知能力的可微分渲染器，通过Granular Render-and-Compare策略，对比渲染图像与输入图像，以优化预测的法线与反照率。
• 利用从2D图像预测的3D身体形状与姿态，初始化规范空间中的重建，并生成蒙皮权重，实现自动绑定。
• 在训练过程中对法线与反照率施加逐像素监督，以增强表面细节与光照重演保真度。
• 构建规范空间中的网格，其本身即为绑定状态，可直接用于动画工作流。

实验结果

研究问题

• RQ1 单张图像3D重建方法能否生成高保真、可动画化的着装人体模型，且具备精细的几何与外观细节？
• RQ2 如何有效归一化非约束图像中的姿态变化与遮挡，以提升重建精度？
• RQ3 具有透明度感知监督的可微分渲染能否增强隐式3D表示中法线与反照率的真实感？
• RQ4 隐函数结合语义形变场在多大程度上能重建出如衣物褶皱与头发等精细细节？
• RQ5 重建的模型能否在无需额外处理的情况下，直接使用标准动作捕捉序列进行动画？

主要发现

• 与SOTA方法（如PIFu）相比，ARCH在RenderPeople数据集上将重建误差降低超过50%，在BUFF数据集上降低超过60%。
• 基于RBF的空间特征表示在定量指标与定性细节保留方面，均优于XYZ与L2特征。
• 采用透明度感知的Granular Render-and-Compare策略，显著提升了法线估计质量并减少了视觉伪影。
• 该框架成功重建了复杂衣物细节，如长裤接缝、鞋跟与精细褶皱，这些是先前方法未能捕捉到的。
• 重建模型本身即为绑定状态，可直接使用重定向后的Mixamo动作序列进行动画，充分证明其动画就绪性。
• 模型在复杂姿态与自接触场景中泛化能力良好，但极端或严重遮挡的姿态仍具挑战。