[论文解读] FaceController: Controllable Attribute Editing for Face in the Wild

Zhiliang Xu, Xiyu Yu+6 more|arXiv (Cornell University)|Feb 23, 2021

Face recognition and analysis参考文献 50被引用 5

一句话总结

FaceController 提出一种前馈生成网络，通过利用 3DMM 先验、身份嵌入和区域级风格码，在野生图像中实现高保真、可控制的人脸属性编辑，无需昂贵的 GAN 反演，实现了在人脸交换、光照重制和化妆迁移任务中身份保留、保真度和解耦编辑方面的最先进性能。

ABSTRACT

Face attribute editing aims to generate faces with one or multiple desired face attributes manipulated while other details are preserved. Unlike prior works such as GAN inversion, which has an expensive reverse mapping process, we propose a simple feed-forward network to generate high-fidelity manipulated faces. By simply employing some existing and easy-obtainable prior information, our method can control, transfer, and edit diverse attributes of faces in the wild. The proposed method can consequently be applied to various applications such as face swapping, face relighting, and makeup transfer. In our method, we decouple identity, expression, pose, and illumination using 3D priors; separate texture and colors by using region-wise style codes. All the information is embedded into adversarial learning by our identity-style normalization module. Disentanglement losses are proposed to enhance the generator to extract information independently from each attribute. Comprehensive quantitative and qualitative evaluations have been conducted. In a single framework, our method achieves the best or competitive scores on a variety of face applications.

研究动机与目标

• 为解决 GAN 反演的低效性，提出使用快速前馈网络替代其进行属性编辑。
• 将五个关键人脸属性——身份、姿态、表情、光照和局部区域风格——进行解耦，以实现精确控制。
• 通过集成身份嵌入和区域级风格嵌入，弥合 3DMM 渲染人脸与真实野生人脸之间的域差距。
• 通过统一框架支持多样化的应用，如人脸交换、光照重制和化妆迁移。
• 通过无监督损失和一种新型身份-风格归一化模块，提升解耦性和可控性。

提出的方法

• 使用 3DMM 系数作为强先验，以解耦身份、姿态和表情。
• 引入身份-风格归一化模块，将身份嵌入与区域级风格码融合，以调制来自 3DMM 的特征图。
• 采用无监督损失（身份一致性、关键点一致性、直方图匹配）以强制实现解耦控制。
• 应用解耦损失，以鼓励生成器独立提取每种属性。
• 利用现有且易获取的先验（3DMM、身份、风格码），而非耗时的 GAN 反演。
• 结合身份-风格归一化模块进行对抗性训练，以生成逼真的人脸。

实验结果

研究问题

• RQ1 前馈网络是否能在不依赖昂贵 GAN 反演的情况下实现高保真人脸编辑？
• RQ2 结合 3DMM 先验、身份和区域级风格码，是否能有效弥合合成人脸与真实人脸之间的域差距？
• RQ3 所提方法是否能有效解耦五种不同的人脸属性（身份、姿态、表情、光照、局部风格），以实现精确编辑？
• RQ4 与先前方法相比，身份-风格归一化模块在提升解耦性和生成质量方面有何改进？
• RQ5 在人脸交换、化妆迁移和光照重制任务中，该方法在多大程度上优于现有方法？

主要发现

• 在 FaceForensics++ 数据集上，FaceController 的身份检索准确率达到最高（98.27），FID 最低（3.51），优于 DeepFake、FaceSwap、FSGAN 和 FaceShifter。
• 在用户研究中，FaceController 的保真度得分为 55.4，身份保留得分为 44.7，化妆迁移能力得分为 45.4，整体质量优于 SEAN 和 LADN。
• 消融研究显示，若移除身份编码器，身份检索准确率降至 25.97，证实其在保留源身份方面起着关键作用。
• 若移除风格编码器，则导致区域纹理不一致（如嘴唇），FID 上升至 4.84，凸显其在细粒度编辑中的重要性。
• 关键点和直方图匹配损失至关重要：若省略，会在眼部附近产生伪影并导致颜色分布不一致。
• 该方法在人脸交换、光照重制和化妆迁移等多种编辑任务中均保持强大性能，且仅依赖单一统一框架。