[论文解读] Coordinate-based Texture Inpainting for Pose-Guided Image Generation

Artur Grigorev, Artem Sevastopolsky+2 more|arXiv (Cornell University)|Nov 28, 2018

Generative Adversarial Networks and Image Synthesis参考文献 40被引用 9

一句话总结

本文提出了一种基于坐标的纹理修复方法，用于姿态引导的人体图像生成，其中深度网络为每个身体表面纹理像素预测源图像中的对应坐标，以在纹理补全过程中保留高频细节。该方法通过在全卷积框架中利用学习到的对应关系和可变形跳跃连接，在姿态引导的图像合成、服装迁移和人脸重建任务中取得了最先进性能。

ABSTRACT

We present a new deep learning approach to pose-guided resynthesis of human photographs. At the heart of the new approach is the estimation of the complete body surface texture based on a single photograph. Since the input photograph always observes only a part of the surface, we suggest a new inpainting method that completes the texture of the human body. Rather than working directly with colors of texture elements, the inpainting network estimates an appropriate source location in the input image for each element of the body surface. This correspondence field between the input image and the texture is then further warped into the target image coordinate frame based on the desired pose, effectively establishing the correspondence between the source and the target view even when the pose change is drastic. The final convolutional network then uses the established correspondence and all other available information to synthesize the output image. A fully-convolutional architecture with deformable skip connections guided by the estimated correspondence field is used. We show state-of-the-art result for pose-guided image synthesis. Additionally, we demonstrate the performance of our system for garment transfer and pose-guided face resynthesis.

研究动机与目标

• 为了解决从单张输入照片生成高质量、高细节的人体新姿态图像的挑战。
• 克服标准图像到图像翻译方法在大姿态变化下常见的模糊与纹理细节丢失问题。
• 开发一种方法，利用人体对称性与几何先验，有效完成缺失的纹理区域。
• 通过准确地跨姿态转移外观特征，实现在虚拟试穿和增强现实等应用中的逼真图像合成。

提出的方法

• 该方法使用基于坐标的修复网络，为身体表面每个纹理像素预测源图像中的对应像素坐标，而非直接预测颜色。
• 该对应场通过深度卷积网络估计，并利用目标姿态的DensePose描述符将其映射到目标姿态的坐标系中。
• 最终的图像合成通过一个全卷积编码器-解码器网络完成，其可变形跳跃连接由估计的对应场引导。
• 网络端到端训练，将源图像和经扭曲的源坐标映射到以目标姿态为条件的新视图。
• 该方法使用SMPL和DensePose表示来建模三维人体几何与纹理映射，实现跨姿态的一致性扭曲。
• 消融实验确认了基于坐标的修复与可变形跳跃连接在保留纹理质量方面的重要性。

实验结果

研究问题

• RQ1 与直接的RGB修复相比，基于坐标的纹理修复是否能显著提升姿态引导图像合成的视觉质量？
• RQ2 在大姿态变化和部分观测条件下，该方法在保留高频纹理细节方面的有效性如何？
• RQ3 由学习到的对应场引导的可变形跳跃连接在多大程度上提升了生成图像的真实感？
• RQ4 该框架能否泛化到其他任务，如服装迁移和真实场景下的人脸重建？
• RQ5 基于坐标的该方法是否在定量指标和用户感知方面均优于现有最先进方法？

主要发现

• 在Deep Fashion数据集上，所提方法达到SSIM 0.791、MS-SSIM 0.810、IS 4.46和LPIPS 0.169，优于先前最先进方法。
• 消融实验表明，若移除可变形跳跃连接，IS降至3.23，LPIPS升至0.198，证明其重要性。
• 基于坐标的修复方法相比RGB修复的LPIPS得分低0.029（0.169 vs. 0.198），表明其感知质量更优。
• 在300-VW数据集上的人脸重建任务中，方法达到SSIM 0.613和MS-SSIM 0.764，显示出对真实场景人脸图像的强大泛化能力。
• 用户研究证实，与现有方法相比，所提方法在真实感和纹理细节保留方面更受青睐。
• 该方法成功实现了具有逼真服装转移效果的虚拟试穿，展示了其在时尚与AR领域的实际应用潜力。