[论文解读] Instance-level Facial Attributes Transfer with Geometry-Aware Flow

Weidong Yin, Ziwei Liu+1 more|arXiv (Cornell University)|Nov 30, 2018

Face recognition and analysis参考文献 43被引用 7

一句话总结

本文提出了一种几何感知的流框架，用于实例级面部属性迁移，利用面部关键点学习具有姿态鲁棒性的可微变形，以保留源属性的细节。通过将基于流的变形与外观残差优化网络结合，并在无配对数据上采用循环一致性训练，该方法即使在姿态和外观差异较大的情况下，也能实现高保真、逼真的属性迁移，且在高分辨率图像和非局部属性（如刘海和微笑）上表现出强大的泛化能力。

ABSTRACT

We address the problem of instance-level facial attribute transfer without paired training data, e.g. faithfully transferring the exact mustache from a source face to a target face. This is a more challenging task than the conventional semantic-level attribute transfer, which only preserves the generic attribute style instead of instance-level traits. We propose the use of geometry-aware flow, which serves as a well-suited representation for modeling the transformation between instance-level facial attributes. Specifically, we leverage the facial landmarks as the geometric guidance to learn the differentiable flows automatically, despite of the large pose gap existed. Geometry-aware flow is able to warp the source face attribute into the target face context and generate a warp-and-blend result. To compensate for the potential appearance gap between source and target faces, we propose a hallucination sub-network that produces an appearance residual to further refine the warp-and-blend result. Finally, a cycle-consistency framework consisting of both attribute transfer module and attribute removal module is designed, so that abundant unpaired face images can be used as training data. Extensive evaluations validate the capability of our approach in transferring instance-level facial attributes faithfully across large pose and appearance gaps. Thanks to the flow representation, our approach can readily be applied to generate realistic details on high-resolution images.

研究动机与目标

• 解决将特定实例级面部属性（例如独特的胡子）从源图像迁移到目标图像的挑战，而不仅仅是通用属性风格的迁移。
• 克服先前语义级别迁移方法的局限性，这些方法无法保留源属性中特有的形状、纹理或风格等样本特异性特征。
• 在无需成对训练数据的情况下，实现对大姿态变化和外观差异（如光照、肤色）的忠实属性迁移。
• 开发一种可扩展的、支持高分辨率的方案，避免基于参数化GAN方法常见的模糊结果。

提出的方法

• 提出几何感知流作为可微、关键点引导的变形表示，能够在大姿态差异下稳健地建模实例级属性变换。
• 通过面部关键点监督端到端学习流网络，以确保在将源属性变形到目标人脸时保持几何一致性。
• 集成一个幻觉（优化）子网络，用于生成外观残差，以在变形后纠正光照、肤色和纹理不匹配问题。
• 设计一种循环一致性框架，结合属性迁移模块与属性移除模块，以在大量无配对人脸图像上进行训练。
• 通过上采样流、掩码和残差图，将学习到的几何感知流直接应用于高分辨率图像，而无需重新训练。
• 采用多阶段流程：首先使用几何感知流对源属性进行变形，然后通过外观残差对结果进行优化，以提升真实感和保真度。

实验结果

研究问题

• RQ1 在无配对监督下，几何感知流是否能有效建模大姿态变化下的实例级面部属性迁移？
• RQ2 外观残差子网络在补偿源与目标人脸之间光照和肤色差异等外观差距方面表现如何？
• RQ3 循环一致性训练方案在从无配对人脸图像中有效学习方面能达到何种程度？
• RQ4 所提方法在涉及复杂非局部形变的非局部属性（如刘海和微笑）上是否具备良好泛化能力？
• RQ5 与现有基于GAN的方法相比，该方法在高分辨率人脸图像上的可扩展性如何？

主要发现

• 几何感知流子网络对忠实属性迁移至关重要，若移除该模块，FID和保真度得分显著下降，导致结果模糊且不准确。
• 外观残差优化子网络显著提升了属性分类准确率和视觉质量，尤其在纠正肤色和光照不匹配方面效果明显。
• 完整模型（GeoGAN）在CelebA和CelebA-HQ数据集上表现最佳，FID得分更优，且在感知真实感和属性保真度方面用户偏好度最高。
• 该方法在挑战性非局部属性（如刘海和微笑）上泛化良好，流网络成功迁移了复杂且非局部的特征。
• 通过上采样低分辨率流、掩码和残差图，可直接生成高分辨率结果，无需重新训练，有效保留高频细节，在分辨率可扩展性方面优于基线方法。
• 用户研究表明，完整模型在眼镜、胡子和络腮胡等属性上，多数投票认为其视觉质量和属性保真度最佳。