[论文解读] BCNet: Learning Body and Cloth Shape from A Single Image

Boyi Jiang, Juyong Zhang+4 more|arXiv (Cornell University)|Apr 1, 2020

3D Shape Modeling and Analysis参考文献 58被引用 6

一句话总结

BCNet 提出了一种新颖的方法，通过在 SMPL 上使用分层服装表示，从单张近似正视的 RGB 图像中重建出详细的 3D 身体和服装形状，其皮肤权重独立于身体网格学习，以支持连衣裙等不同拓扑结构的服装。该方法在无需多视角输入或后处理优化的情况下，实现了最先进的重建精度，并在服装转移等应用中具备灵活控制能力，优于以往方法。

ABSTRACT

In this paper, we consider the problem to automatically reconstruct garment and body shapes from a single near-front view RGB image. To this end, we propose a layered garment representation on top of SMPL and novelly make the skinning weight of garment independent of the body mesh, which significantly improves the expression ability of our garment model. Compared with existing methods, our method can support more garment categories and recover more accurate geometry. To train our model, we construct two large scale datasets with ground truth body and garment geometries as well as paired color images. Compared with single mesh or non-parametric representation, our method can achieve more flexible control with separate meshes, makes applications like re-pose, garment transfer, and garment texture mapping possible. Code and some data is available at https://github.com/jby1993/BCNet.

研究动机与目标

• 为了实现仅从单张 RGB 图像中准确重建身体和服装形状，克服现有方法的局限性。
• 为了支持多种服装类别，包括连衣裙等与身体拓扑结构不同的宽松服装。
• 通过使用单张正视图像，消除对多视角输入、语义分割或 A 姿势约束的依赖。
• 开发一个可训练的框架，联合预测身体和服装几何形状，并使用独立可控的网格。
• 构建一个大规模、公开可用的合成图像与配对 3D 身体-服装形状数据集，用于训练和评估。

提出的方法

• 提出一种分层服装表示方法，其中服装网格不绑定到 SMPL 身体网格，从而实现独立的皮肤权重预测。
• 引入一种通用的皮肤权重网络，为服装生成具有身体感知的权重，支持不同拓扑结构下的灵活形变。
• 使用图卷积网络（GCNs）在初始形状估计后细化服装细节预测。
• 利用基于物理的仿真流水线，生成具有不同身体形态、姿态和服装类型的多样化、逼真的穿装人体数据。
• 使用大规模合成数据集训练深度神经网络，该数据集结合了 SMPL 身体、合成服装和高保真纹理图像。
• 采用多阶段网络架构，分别回归身体形状（SMPL 参数）、姿态和服装几何形状，并输出独立的网格。

实验结果

研究问题

• RQ1 单张图像输入能否实现对身体和复杂服装形状（包括连衣裙等宽松服装）的高精度 3D 重建？
• RQ2 如何将皮肤权重与身体网格解耦，以支持具有不同拓扑结构的服装，并减少形变伪影？
• RQ3 深度学习模型能否在无需多视角输入或语义标注的情况下，泛化到多种服装类别？
• RQ4 与最先进的方法相比，仅使用单张正视图像，该方法能达到何种重建精度水平？
• RQ5 所提出的方法能否在无需后处理优化的情况下，支持灵活的下游应用（如服装转移和重姿态）？

主要发现

• 在 BUFF 数据集上，BCNet 的重建精度与最先进的方法（如 MGN 和 Octopus）相当或更优，且无需后处理优化。
• 在 DW 数据集上，BCNet 在单张图像输入下达到与 PIFu 相当的重建精度，同时提供独立可控的身体和服装网格。
• 该方法成功重建了具有大边缘特征的宽松服装（如连衣裙），避免了 SMPL 绑定方法中常见的伪影。
• 与 MGN 相比，BCNet 在无需多视角分割或 A 姿势约束的情况下，生成了更准确的身体尺寸和服装几何形状。
• 所提出的数据集构建流水线生成了多样化、高质量的合成数据，具有逼真的纹理和多样的姿态，支持稳健训练。
• 在重建结果上成功演示了服装转移和姿态转移，证实了独立网格表示的灵活性。