[论文解读] Learning Oracle Attention for High-fidelity Face Completion

Tong Zhou, Changxing Ding+3 more|arXiv (Cornell University)|Mar 31, 2020

Face recognition and analysis参考文献 38被引用 4

一句话总结

本文提出了一种新颖的面部补全框架，采用双空间注意力（DSA）模块，在oracle监督和多判别器训练下提升高保真图像生成效果。通过强制实现准确的注意力分数，并将对抗学习聚焦于关键面部组件，该方法在CelebA-HQ和Flickr-Faces-HQ数据集上实现了最先进性能，显著减少了伪影，提升了纹理真实感与对称性。

ABSTRACT

High-fidelity face completion is a challenging task due to the rich and subtle facial textures involved. What makes it more complicated is the correlations between different facial components, for example, the symmetry in texture and structure between both eyes. While recent works adopted the attention mechanism to learn the contextual relations among elements of the face, they have largely overlooked the disastrous impacts of inaccurate attention scores; in addition, they fail to pay sufficient attention to key facial components, the completion results of which largely determine the authenticity of a face image. Accordingly, in this paper, we design a comprehensive framework for face completion based on the U-Net structure. Specifically, we propose a dual spatial attention module to efficiently learn the correlations between facial textures at multiple scales; moreover, we provide an oracle supervision signal to the attention module to ensure that the obtained attention scores are reasonable. Furthermore, we take the location of the facial components as prior knowledge and impose a multi-discriminator on these regions, with which the fidelity of facial components is significantly promoted. Extensive experiments on two high-resolution face datasets including CelebA-HQ and Flickr-Faces-HQ demonstrate that the proposed approach outperforms state-of-the-art methods by large margins.

研究动机与目标

• 解决由于复杂面部纹理和结构相关性导致的高保真面部补全挑战。
• 克服现有基于注意力的方法中注意力分数不准确所引发的伪影与语义不一致问题。
• 通过利用关键点先验和针对性判别器，提升关键面部组件（眼睛、鼻子、嘴巴）的保真度。
• 通过oracle监督确保注意力机制的可靠性，以指导修复过程中的特征选择。
• 在高分辨率数据集上，相比最先进方法，实现更优的视觉质量与定量性能。

提出的方法

• 提出双空间注意力（DSA）模块，结合前景自注意力与前景-背景交叉注意力，以在多尺度下建模像素级相关性。
• 引入oracle监督信号以约束注意力分数，确保其语义合理，减少生成纹理中的幻觉现象。
• 利用真实图像中的面部关键点作为先验知识，识别并定位四个关键面部组件，以实现针对性优化。
• 在每个关键面部组件上部署独立的判别器，通过对抗训练强化高保真纹理生成。
• 将DSA模块与多判别器集成至U-Net架构的生成器中，并在推理阶段移除判别器以保持效率。
• 采用感知损失与对抗损失进行端到端训练，监督信号仅施加于注意力图，以提升其可靠性。

实验结果

研究问题

• RQ1 oracle监督的注意力学习是否能提升面部补全中特征选择的可靠性，从而减少因注意力分数不准确导致的伪影？
• RQ2 将对抗训练聚焦于关键面部组件（眼睛、鼻子、嘴巴）是否能相比仅使用全局或局部判别器，带来更高的纹理保真度？
• RQ3 双空间注意力结合像素级相关性建模，在保留面部对称性与细节方面，是否显著优于基于图像块的注意力机制？
• RQ4 关键点引导的先验知识在多大程度上提升了生成面部组件的空间对齐性与真实感？
• RQ5 多判别器策略是否能在不降低推理速度的前提下，提升高频纹理细节？

主要发现

• 所提方法在CelebA-HQ与Flickr-Faces-HQ数据集上达到最先进性能，在定性与定量评估中均优于先前方法。
• 结合oracle监督的DSA模块显著减少了伪影，如双眼间颜色不一致、鼻部与口部区域的纹理扭曲。
• 定量结果表明，使用监督注意力后，CelebA-HQ上的PSNR从26.23提升至26.36，SSIM从0.9062提升至0.9107，LPIPS降低至0.0706（对比0.0726），表明感知质量更优。
• 多判别器设置显著提升了纹理锐度与真实感，尤其在面部组件区域，视觉对比与局部放大分析均验证了该优势。
• 通过在测试阶段移除判别器，该方法保持了推理效率，无性能开销。
• 消融实验证实，注意力的oracle监督与组件特定判别器对实现高保真结果均至关重要。