[论文解读] High-Fidelity and Arbitrary Face Editing

Yue Gao, Fangyun Wei+5 more|arXiv (Cornell University)|Mar 29, 2021

Face recognition and analysis被引用 4

一句话总结

HifaFace 提出了一种基于小波的面部编辑框架，通过直接将高频图像细节注入生成器，并使用高频判别器来防止隐写信号隐藏，从而提升高保真度和任意面部属性编辑的效果。该方法在定性和定量评估中均优于当前最先进方法，表现出卓越的保真度与可控性。

ABSTRACT

Cycle consistency is widely used for face editing. However, we observe that the generator tends to find a tricky way to hide information from the original image to satisfy the constraint of cycle consistency, making it impossible to maintain the rich details (e.g., wrinkles and moles) of non-editing areas. In this work, we propose a simple yet effective method named HifaFace to address the above-mentioned problem from two perspectives. First, we relieve the pressure of the generator to synthesize rich details by directly feeding the high-frequency information of the input image into the end of the generator. Second, we adopt an additional discriminator to encourage the generator to synthesize rich details. Specifically, we apply wavelet transformation to transform the image into multi-frequency domains, among which the high-frequency parts can be used to recover the rich details. We also notice that a fine-grained and wider-range control for the attribute is of great importance for face editing. To achieve this goal, we propose a novel attribute regression loss. Powered by the proposed framework, we achieve high-fidelity and arbitrary face editing, outperforming other state-of-the-art approaches.

研究动机与目标

• 为解决循环一致性面部编辑中生成器通过隐写信号隐藏输入细节而导致的细节保留不佳问题。
• 通过直接将高频图像分量输入生成器，减少对隐藏信号编码的依赖，从而提升高保真面部编辑效果。
• 通过一种新型属性回归损失，实现对面部属性的细粒度、大范围控制。
• 通过使用大规模未标注数据的半监督学习，提升模型的泛化能力和保真度。
• 重新评估并解决基于生成对抗网络的面部编辑中循环一致性带来的局限性。

提出的方法

• 该方法采用小波变换将输入图像分解为多频带子带，分离出包含细微信号（如皱纹、痣）的高频分量。
• 提出一种新型基于小波的跳跃连接模块，替代标准跳跃连接，将高频特征直接注入生成器的最终层，以保持细节保真度。
• 引入高频判别器（$D_H$），强制生成器生成逼真的高频细节，从而抑制隐写信号隐藏行为。
• 设计了一种属性回归损失，显式建模属性在连续范围内的变化，实现属性的平滑、任意插值与外推。
• 应用半监督学习，利用大规模未标注人脸图像，提升在真实场景图像中的泛化能力和保真度。
• 整体框架结合了循环一致性、显式细节监督与属性控制，形成一个鲁棒的面部编辑流水线。

(a) Input $\bm{x}$

实验结果

研究问题

• RQ1 能否通过阻止生成器以隐写方式隐藏输入细节，来改进循环一致性 GAN 在面部编辑中的表现？
• RQ2 如何有效将高频图像分量注入生成器，以保留如皱纹和痣等精细面部细节？
• RQ3 高频判别器是否能有效强制生成逼真的细节并防止循环一致性中的平凡解？
• RQ4 新型属性回归损失在多大程度上能够实现对面部属性的细粒度、连续且任意的控制？
• RQ5 使用大规模未标注数据进行半监督学习，是否能显著提升在真实图像设置下的面部编辑质量与鲁棒性？

主要发现

• 完整版 HifaFace 模型的 Fréchet Inception Distance（FID）为 4.04，Fréchet Appearance Distance（FAD）为 97.5，显著优于基线方法。
• 消融实验表明，若移除基于小波的跳跃连接或高频判别器，性能将急剧下降，FID 上升至 5.34，FAD 下降至 96.4。
• 缺少属性回归损失的模型无法实现平滑的插值与外推，尤其在需要大范围控制的属性（如眼镜和衰老）上表现不佳。
• 半监督学习显著提升了生成质量，尤其在标注数据稀缺的低资源属性（如“眼镜”和“年老”）上效果明显。
• 该模型在多种姿态与表情的野生图像上成功实现编辑，保持了高保真度与细节保留，如图 10 所示。
• 通过重建实验确认，HifaFace 的生成器不会在输出图像中编码隐藏信号，而基线模型则依赖隐写术。

(b) $\bm{\hat{y}}=\bm{x}\text{ + EG}$