[论文解读] FEAT: Face Editing with Attention

Xianxu Hou, Linlin Shen+3 more|arXiv (Cornell University)|Feb 6, 2022

Face recognition and analysis被引用 11

一句话总结

FEAT 提出了一种文本引导的面部编辑方法，通过学习的注意力图将编辑定位到 StyleGAN 中的特定面部区域，从而提升解耦性和可控性。通过使用 CLIP 监督的注意力掩码混合特征，该方法实现了无需依赖潜在空间固有解耦性的精确、属性特定的编辑。

ABSTRACT

Employing the latent space of pretrained generators has recently been shown to be an effective means for GAN-based face manipulation. The success of this approach heavily relies on the innate disentanglement of the latent space axes of the generator. However, face manipulation often intends to affect local regions only, while common generators do not tend to have the necessary spatial disentanglement. In this paper, we build on the StyleGAN generator, and present a method that explicitly encourages face manipulation to focus on the intended regions by incorporating learned attention maps. During the generation of the edited image, the attention map serves as a mask that guides a blending between the original features and the modified ones. The guidance for the latent space edits is achieved by employing CLIP, which has recently been shown to be effective for text-driven edits. We perform extensive experiments and show that our method can perform disentangled and controllable face manipulations based on text descriptions by attending to the relevant regions only. Both qualitative and quantitative experimental results demonstrate the superiority of our method for facial region editing over alternative methods.

研究动机与目标

• 解决 GAN 中解耦化、局部化面部编辑的挑战，因为编辑往往无意中影响非目标属性。
• 通过显式地将编辑定位到目标面部区域，减少对 StyleGAN 潜在空间固有解耦性的依赖。
• 通过利用 CLIP 的图文嵌入进行监督，实现直观的、基于文本的编辑，同时最大限度减少用户干预。
• 通过空间注意力图引导特征混合，提升编辑质量和身份保留度。
• 展示在不同特征层应用注意力图对各类编辑任务（如颜色与结构变化）的有效性。

提出的方法

• 训练一个映射网络，利用 CLIP 嵌入作为监督，为给定的文本提示预测潜在空间的偏移量。
• 引入一个注意力模块，生成空间掩码，以指导在特征混合过程中编辑应施加的位置。
• 将注意力掩码应用于 StyleGAN 生成器选定的中间层，混合原始特征与修改后的特征。
• 利用 CLIP 的联合图文嵌入空间，将文本提示与相关面部区域对齐，实现零样本、文本驱动的编辑。
• 使用注意力掩码混合原始特征与编辑后的特征，以保留身份并减少影响扩散。
• 通过两步编辑实现：首先学习一个区域掩码（例如“黑色头发”），然后仅在该区域内应用第二次编辑（例如“火焰”颜色）。

实验结果

研究问题

• RQ1 从 CLIP 嵌入中学习到的注意力图是否能有效在基于 GAN 的面部编辑过程中将编辑定位到特定面部区域？
• RQ2 与标准潜在空间编辑方法相比，使用注意力引导的特征混合是否能提升解耦性？
• RQ3 用于混合的特征层选择如何影响编辑的质量和特异性（例如颜色变化与结构变化）？
• RQ4 注意力机制是否能实现更直观的基于文本的编辑，而无需手动调节编辑强度或解耦参数？
• RQ5 注意力掩码是否可在两步流程中重复使用，以实现高精度的复杂、区域特定编辑？

主要发现

• 与基线方法相比，注意力引导的方法显著减少了对非目标属性（如背景或无关面部特征）的非预期影响。
• 实验表明，在较高层（例如第 18 层）混合特征对颜色编辑效果更好，而在较低层（例如第 8 层）对表情或形状等结构编辑更有效。
• 消融研究证实，若移除注意力掩码，将导致编辑纠缠——例如改变眼睛颜色会影响肤色或背景，修改面部结构会影响头发或眼镜。
• 两步编辑方法成功地将复杂编辑（如将头发染成“火焰”或“薰衣草”色）限制在预定义区域内，展示了精确的区域控制能力。
• 定量结果表明，FID（图像质量）更低，CS（身份保留度）更高，ED（编辑距离）更低，证实了更高的视觉保真度和编辑特异性。
• 该方法在多种面部属性和姿态下具有泛化能力，注意力掩码即使在不同条件下也能有效识别相关区域。