[论文解读] Dense Intrinsic Appearance Flow for Human Pose Transfer

Yining Li, Chen Huang+1 more|arXiv (Cornell University)|Mar 27, 2019

Generative Adversarial Networks and Image Synthesis参考文献 44被引用 12

一句话总结

该论文提出了一种新颖的人体姿态迁移方法，通过使用密集的内在3D外观光流来提升图像的真实感和细节保留效果。通过从2D姿态拟合3D模型来合成3D光流，一个前馈网络回归出3D外观和可见性图，实现高效的像素级变形，从而在DeepFashion和Market-1501数据集上取得了最先进性能，图像质量与属性保留均表现优异。

ABSTRACT

We present a novel approach for the task of human pose transfer, which aims at synthesizing a new image of a person from an input image of that person and a target pose. We address the issues of limited correspondences identified between keypoints only and invisible pixels due to self-occlusion. Unlike existing methods, we propose to estimate dense and intrinsic 3D appearance flow to better guide the transfer of pixels between poses. In particular, we wish to generate the 3D flow from just the reference and target poses. Training a network for this purpose is non-trivial, especially when the annotations for 3D appearance flow are scarce by nature. We address this problem through a flow synthesis stage. This is achieved by fitting a 3D model to the given pose pair and project them back to the 2D plane to compute the dense appearance flow for training. The synthesized ground-truths are then used to train a feedforward network for efficient mapping from the input and target skeleton poses to the 3D appearance flow. With the appearance flow, we perform feature warping on the input image and generate a photorealistic image of the target pose. Extensive results on DeepFashion and Market-1501 datasets demonstrate the effectiveness of our approach over existing methods. Our code is available at http://mmlab.ie.cuhk.edu.hk/projects/pose-transfer

研究动机与目标

• 通过3D几何推理解决人体姿态迁移中2D外观变化大和自遮挡的问题，且在推理阶段无需显式3D模型推理。
• 克服基于关键点表征的局限性，后者难以捕捉细微形变和纹理细节。
• 通过从2D姿态对学习密集的、内在的3D像素对应关系，并利用合成的3D光流监督，实现高保真图像生成。
• 在姿态迁移过程中保留衣物纹理和面部特征等详细外观属性。
• 通过端到端训练前馈网络，直接从2D姿态回归3D外观光流和可见性图，实现快速推理。

提出的方法

• 通过将3D SMPL模型拟合到输入和目标的2D姿态对，合成3D外观光流的真值，然后将3D顶点对应关系投影回2D图像平面。
• 训练一个基于U-Net的前馈外观光流模块，从一对2D姿态回归密集的3D外观光流和可见性图。
• 利用预测的3D外观光流对输入图像的特征进行变形，通过可见性图引导的门控机制处理自遮挡问题。
• 集成一个双编码器U-Net生成器，分别处理图像和姿态特征，随后进行融合、特征变形和门控细化。
• 使用重建损失、对抗损失和感知损失的组合，端到端训练完整模型，以优化真实感和结构保真度。
• 利用可见性图抑制遮挡区域中不可靠的特征，提升缺失身体部位的生成质量。

实验结果

研究问题

• RQ1 从2D姿态隐式学习3D几何推理，是否能提升人体姿态迁移中像素级对应估计的准确性？
• RQ2 从合成的3D模型投影中学习密集3D外观光流，是否能更好地保留衣物纹理等细粒度外观细节？
• RQ3 在合成3D光流数据上进行训练的前馈网络，是否能在无需推理时进行3D模型拟合的情况下泛化到真实姿态迁移任务？
• RQ4 可见性图在缺失身体部位生成和整体图像质量方面起到了何种作用？
• RQ5 所提出的光流引导变形机制在多大程度上优于传统的基于关键点或局部仿射变换的方法？

主要发现

• 用户偏好研究中，该方法的胜率高达90.53%，显著优于SOTA基线方法[34]的感知质量表现。
• 在DeepFashion数据集上，该方法的FashionIS得分为4.898，AttrRec-k在k=20时达到49.044，表明属性保留能力出色。
• 消融实验表明，若移除像素变形模块，FashionIS下降0.308，AttrRec-k下降1.653分，证明其在细节恢复中的关键作用。
• 与无可见性图的变体相比，可见性图使k=20时的属性召回率提升2.448分，证实其在遮挡处理中的重要性。
• 该模型将误判为真实的假图像比例从基线的9.55%降至10.01%，但提高了真实图像被误判为假图像的比例，表明其生成结果更具真实感。
• 完整模型在SSIM（0.778）和IS（3.338）上均达到最高值，相比消融变体在结构和感知保真度上均有提升。