[论文解读] SiCloPe: Silhouette-Based Clothed People

Ryota Natsume, Shunsuke Saito+5 more|arXiv (Cornell University)|Dec 31, 2018

3D Shape Modeling and Analysis参考文献 60被引用 7

一句话总结

本文提出 SiCloPe，一种基于深度学习的方法，仅从单张正面图像即可重建完整、带纹理的3D着装人体。该方法利用2D轮廓和3D关节点估计，合成一致的多视角轮廓；采用带有贪心视角采样策略的深度视觉罩算法，实现鲁棒的3D几何重建；并利用图像到图像翻译网络预测背面纹理，尽管输入为单视角，仍实现了与多视角方法相当的结果。

ABSTRACT

We introduce a new silhouette-based representation for modeling clothed human bodies using deep generative models. Our method can reconstruct a complete and textured 3D model of a person wearing clothes from a single input picture. Inspired by the visual hull algorithm, our implicit representation uses 2D silhouettes and 3D joints of a body pose to describe the immense shape complexity and variations of clothed people. Given a segmented 2D silhouette of a person and its inferred 3D joints from the input picture, we first synthesize consistent silhouettes from novel view points around the subject. The synthesized silhouettes which are the most consistent with the input segmentation are fed into a deep visual hull algorithm for robust 3D shape prediction. We then infer the texture of the subject's back view using the frontal image and segmentation mask as input to a conditional generative adversarial network. Our experiments demonstrate that our silhouette-based model is an effective representation and the appearance of the back view can be predicted reliably using an image-to-image translation network. While classic methods based on parametric models often fail for single-view images of subjects with challenging clothing, our approach can still produce successful results, which are comparable to those obtained from multi-view input.

研究动机与目标

• 实现无需参数化人体模型或预捕获模板的单张图像3D着装人体完整重建。
• 克服单视角输入中背面几何与外观信息缺失的挑战。
• 开发一种非参数化、可泛化的模型，能够捕捉精细的衣物细节，并推广至未见个体。
• 通过优化视角选择的深度学习增强视觉罩技术，提升3D重建精度。
• 利用基于条件GAN的图像到图像翻译框架，合成逼真的背面纹理。

提出的方法

• 基于轮廓的隐式表示利用2D输入轮廓和推断的3D关节点姿态，编码3D形状的复杂性。
• 使用深度神经网络，基于输入分割图和3D关节点，从新视角合成一致的2D轮廓。
• 采用贪心视角采样策略，选择能最大化轮廓一致性的视角，以提升3D重建效果。
• 基于合成轮廓的深度视觉罩算法，结合着装人体形状先验，重建3D网格几何。
• 基于条件生成对抗网络（cGAN）的模型，从正面图像和分割掩码中推断背面颜色纹理。
• 该方法在两阶段流程中整合轮廓合成、优化视角选择、深度视觉罩和基于GAN的纹理迁移。

实验结果

研究问题

• RQ1 能否仅使用单视角图像，实现高几何保真度的完整、带纹理3D着装人体重建？
• RQ2 如何优化多视角间的轮廓一致性，以提升稀疏输入下的3D重建性能？
• RQ3 在使用合成轮廓时，深度视觉罩方法是否能优于传统视觉罩技术？
• RQ4 基于GAN的图像到图像翻译网络在多大程度上能从正面图像预测逼真的背面纹理？
• RQ5 与多视角及最先进的单视角重建方法相比，该方法在精度和泛化能力方面表现如何？

主要发现

• 采用贪心视角采样策略的深度视觉罩算法相比随机视角选择，将重建误差降低了69%，优于朴素视觉罩方法。
• 该方法在仅输入单张图像的情况下，实现了与多视角视觉罩技术相当的3D重建质量。
• 轮廓合成网络生成的一致多视角轮廓显著提升了3D几何预测效果，尤其在凹陷区域表现更优。
• 基于GAN的纹理迁移网络成功推断出逼真的背面外观，显著提升了最终3D模型的完整性和真实感。
• 消融实验证实，深度视觉罩与贪心视角采样策略对减少重建伪影和提升精度均至关重要。
• 该方法在未见个体和复杂衣物场景下泛化良好，优于基于参数化模型的方法，在挑战性案例中表现更优。