[论文解读] ARCH++: Animation-Ready Clothed Human Reconstruction Revisited

Tong He, Yuanlu Xu+3 more|arXiv (Cornell University)|Aug 17, 2021

3D Shape Modeling and Analysis参考文献 70被引用 9

一句话总结

ARCH++ 提出了一种端到端的、基于图像的方法，用于重建高保真度、适用于动画的3D着装人体模型，显著提升了各视角下几何形状与纹理的一致性。该方法引入了可学习的基于点的几何编码器、用于在姿态空间与标准空间中联合预测占据情况的协同监督框架，以及用于表面精化的图像到图像转换，其在合成数据与真实世界基准测试中均实现了最先进的逼真度与重建质量表现。

ABSTRACT

We present ARCH++, an image-based method to reconstruct 3D avatars with arbitrary clothing styles. Our reconstructed avatars are animation-ready and highly realistic, in both the visible regions from input views and the unseen regions. While prior work shows great promise of reconstructing animatable clothed humans with various topologies, we observe that there exist fundamental limitations resulting in sub-optimal reconstruction quality. In this paper, we revisit the major steps of image-based avatar reconstruction and address the limitations with ARCH++. First, we introduce an end-to-end point based geometry encoder to better describe the semantics of the underlying 3D human body, in replacement of previous hand-crafted features. Second, in order to address the occupancy ambiguity caused by topological changes of clothed humans in the canonical pose, we propose a co-supervising framework with cross-space consistency to jointly estimate the occupancy in both the posed and canonical spaces. Last, we use image-to-image translation networks to further refine detailed geometry and texture on the reconstructed surface, which improves the fidelity and consistency across arbitrary viewpoints. In the experiments, we demonstrate improvements over the state of the art on both public benchmarks and user studies in reconstruction quality and realism.

研究动机与目标

• 解决以往基于隐式函数的方法在从单张图像重建逼真、可动画化着装人体方面的局限性。
• 克服在去姿态化过程中姿态空间中的保真度与标准空间中的完整性之间的权衡问题。
• 改善通常因遮挡而导致纹理与几何质量下降的区域的重建质量。
• 实现3D几何与外观先验的端到端学习，避免手工设计特征或量化误差。
• 生成一致、高保真度的360°逼真人体模型，适用于AR/VR应用。

提出的方法

• 引入一种基于PointNet++的端到端点云几何编码器，直接从3D点云中学习形状与姿态先验，替代手工设计的RBF特征。
• 提出一种协同监督框架，联合预测姿态空间与标准空间中的占据情况，并通过跨空间一致性约束平衡保真度与完整性。
• 采用图像到图像转换网络估计图像空间中的表面法线与纹理，随后通过一种模压修复方案用于3D网格的精化。
• 使用像素对齐的隐式函数表示3D表面，将几何与外观联合编码以实现一致的重建。
• 应用可微分的形变变换方案，将预测结果从标准空间映射到姿态空间，同时保留细节并避免自相交。
• 利用参数化人体模型（SMPL）传递蒙皮权重，确保最终生成的化身可直接用于动画。

Figure 1: Given an image of a subject in arbitrary pose (left), our method could generate photorealistic avatars in both the posed input space (middle) as well as auto-rigged canonical space (right).

实验结果

研究问题

• RQ1 如何改进基于隐式函数的3D人体几何表示，以更好地捕捉形状与姿态先验？
• RQ2 在姿态空间中的重建保真度与在标准空间中的完整性之间存在何种根本性权衡？该问题应如何解决？
• RQ3 基于图像的法线与纹理精化是否能提升遮挡区域的3D表面质量并确保视角一致性？
• RQ4 与手工设计或体素化编码相比，空间特征的端到端学习在重建精度与鲁棒性方面表现如何？
• RQ5 在多个空间中引入协同监督在多大程度上能增强可动画化着装人体化身的逼真度与结构完整性？

主要发现

• ARCH++ 在公开基准测试中达到最先进性能，姿态空间中的平均重建误差降低至0.031，标准空间中为0.039，优于先前方法。
• 所学习的基于点的几何编码器相比手工设计的RBF特征将误差降低了0.002，且避免了体素化方法中的量化伪影。
• 在姿态空间与标准空间中同时引入协同监督，消除了如过度拉伸与自相交等网格伪影，显著提升了保真度与完整性。
• 通过图像空间法线回归结合模压修复精化，相比对象空间回归或图像空间输入基线方法，能生成更锐利的表面细节，尤其在背部区域表现更优。
• 用户研究表明，ARCH++ 生成的化身在所有视角下均比先前方法更具真实感与一致性。
• 该方法成功重建了即使在遮挡区域也极为精细的衣物褶皱与纹理，展现出对复杂拓扑变化的强鲁棒性。

Figure 2: Overview of the initial joint-space implicit surface reconstruction . This procedure includes three components: i) semantic-aware geometry encoder, ii) pixel-aligned appearance encoder and iii) joint-space occupancy estimator. See text for detailed explanation.