[论文解读] Garment4D: Garment Reconstruction from Point Cloud Sequences

Fangzhou Hong, Liang Pan+2 more|arXiv (Cornell University)|Dec 8, 2021

3D Shape Modeling and Analysis被引用 10

一句话总结

Garment4D 提出了一种新颖的框架，用于从连续的3D点云序列中重建3D服装，避免了基于2D图像方法固有的尺度和姿态模糊性。该方法采用序列配准、通过PCA系数估计标准服装形态，并结合提案引导的分层特征网络与迭代图卷积网络（GCN）及时间Transformer，以建模精细细节与动态形变，实现了对紧身与宽松服装的高保真、可解释的网格重建，且无需依赖SMPL+D或显式的真人身体模型。

ABSTRACT

Learning to reconstruct 3D garments is important for dressing 3D human bodies of different shapes in different poses. Previous works typically rely on 2D images as input, which however suffer from the scale and pose ambiguities. To circumvent the problems caused by 2D images, we propose a principled framework, Garment4D, that uses 3D point cloud sequences of dressed humans for garment reconstruction. Garment4D has three dedicated steps: sequential garments registration, canonical garment estimation, and posed garment reconstruction. The main challenges are two-fold: 1) effective 3D feature learning for fine details, and 2) capture of garment dynamics caused by the interaction between garments and the human body, especially for loose garments like skirts. To unravel these problems, we introduce a novel Proposal-Guided Hierarchical Feature Network and Iterative Graph Convolution Network, which integrate both high-level semantic features and low-level geometric features for fine details reconstruction. Furthermore, we propose a Temporal Transformer for smooth garment motions capture. Unlike non-parametric methods, the reconstructed garment meshes by our method are separable from the human body and have strong interpretability, which is desirable for downstream tasks. As the first attempt at this task, high-quality reconstruction results are qualitatively and quantitatively illustrated through extensive experiments. Codes are available at https://github.com/hongfz16/Garment4D.

研究动机与目标

• 通过使用3D点云序列作为输入，解决基于2D图像的服装重建方法的局限性，如尺度和姿态模糊性。
• 实现可参数化、可解释的服装网格重建，且与人体分离，以支持重定向与纹理映射等下游任务。
• 通过时间与几何特征学习，对在大幅人体运动下发生复杂非刚性形变的宽松服装（如裙子）进行有效建模。
• 建立一个用于从点云序列进行3D服装重建的基准数据集与框架，该任务目前尚属未充分探索的领域。
• 开发一种新颖的端到端流程，无需SMPL+D或除网格序列外的额外标注。

提出的方法

• 通过基于优化的模板对齐方法进行连续服装配准，随后采用重心坐标插值统一各帧之间的网格拓扑结构。
• 利用语义感知的PCA系数编码器，基于穿着服装的人体点云序列输入，实现标准服装形态的估计。
• 通过插值线性混合蒙皮（LBS）生成提案，实现无需学习或SMPL+D的无伪影松散服装蒙皮。
• 提案引导的分层特征网络，融合高层语义特征、低层几何特征与人体感知特征，实现细粒度重建。
• 迭代图卷积网络（GCN），用于在无序点云上高效学习几何特征。
• 时间Transformer用于时空特征融合，捕捉时间序列中平滑且一致的服装动态。

实验结果

研究问题

• RQ1 3D点云序列是否能比2D图像更准确、更无歧义地实现服装重建，特别是在处理尺度与姿态模糊性方面？
• RQ2 如何从无序、非结构化的点云中有效建模松散服装的精细几何细节与动态形变？
• RQ3 能否在不依赖SMPL+D或显式人体模板的前提下，学习到可解释且与人体分离的参数化服装模型？
• RQ4 所提出方法在面对不完整或噪声点云及分割错误时，其泛化能力如何？
• RQ5 通过时间Transformer引入时间建模，在从序列中进行服装重建时，性能提升程度如何？

主要发现

• Garment4D 从点云序列中实现了高质量、可解释的3D服装网格重建，其结果在点云完整度低至50%时仍保持稳健。
• 该方法在分割错误下仍保持强大性能，即使在50%的分割准确率下也能生成合理重建结果，展现出对输入噪声的鲁棒性。
• 所提出的插值LBS方法成功处理了如裙子等松散服装，无伪影产生，且在此类场景下优于基于SMPL+D的蒙皮方法。
• 提案引导的分层特征网络与迭代GCN的结合，有效实现了从原始点云中学习几何细节。
• 时间Transformer显著提升了重建服装序列的运动平滑性与时间一致性。
• 作者发布了基于CLOTH3D改编的2,300个3D点云序列的新基准数据集，为该领域的未来研究提供了支持。