[论文解读] Dual-Attention GAN for Large-Pose Face Frontalization

Yu Yin, Songyao Jiang+2 more|arXiv (Cornell University)|Feb 17, 2020

Face recognition and analysis参考文献 40被引用 5

一句话总结

本文提出了一种新型的生成对抗网络架构——双注意力生成对抗网络（DA-GAN），用于大姿态人脸正面化任务。该方法在生成器中引入自注意力机制以捕捉长程上下文依赖关系，在判别器中引入人脸注意力机制以增强各面部区域的局部真实感。该方法在极端姿态（如90°）下表现优异，显著提升了身份保留能力和照片级真实感，达到当前最优性能。

ABSTRACT

Face frontalization provides an effective and efficient way for face data augmentation and further improves the face recognition performance in extreme pose scenario. Despite recent advances in deep learning-based face synthesis approaches, this problem is still challenging due to significant pose and illumination discrepancy. In this paper, we present a novel Dual-Attention Generative Adversarial Network (DA-GAN) for photo-realistic face frontalization by capturing both contextual dependencies and local consistency during GAN training. Specifically, a self-attention-based generator is introduced to integrate local features with their long-range dependencies yielding better feature representations, and hence generate faces that preserve identities better, especially for larger pose angles. Moreover, a novel face-attention-based discriminator is applied to emphasize local features of face regions, and hence reinforce the realism of synthetic frontal faces. Guided by semantic segmentation, four independent discriminators are used to distinguish between different aspects of a face (\ie skin, keypoints, hairline, and frontalized face). By introducing these two complementary attention mechanisms in generator and discriminator separately, we can learn a richer feature representation and generate identity preserving inference of frontal views with much finer details (i.e., more accurate facial appearance and textures) comparing to the state-of-the-art. Quantitative and qualitative experimental results demonstrate the effectiveness and efficiency of our DA-GAN approach.

研究动机与目标

• 解决在极端姿态变化（如偏航角、俯仰角高达90°）下人脸正面化任务中的身份保留挑战。
• 通过聚焦于纹理、边缘和关键面部标志点等细微面部特征，提升照片级真实感。
• 克服标准卷积层在捕捉人脸生成中的长程依赖关系和局部一致性方面的局限性。
• 设计一种双注意力机制，协同生成器与判别器，实现更丰富的特征表示与更强的泛化能力。

提出的方法

• 在生成器的顶层和倒数第二层引入自注意力模块，以建模特征图上的长程上下文依赖关系。
• 在判别器中采用人脸注意力机制，使用四个独立的判别器，分别聚焦于面部特定区域：皮肤、关键点、发际线和全脸。
• 利用语义分割掩码指导判别器的区域特定训练，实现针对局部区域的梯度信号优化，从而提升局部真实感。
• 在对抗训练框架中联合训练生成器与判别器，其中生成器通过最小化对抗损失并借助识别头保留身份信息。
• 利用预训练的Light-CNN模型提取身份特征，并通过余弦相似度计算评估身份保留性能。
• 通过消融实验验证生成器中的自注意力与判别器中的人脸注意力的互补作用，各组件均对整体性能有贡献。

实验结果

研究问题

• RQ1 生成器中的自注意力机制是否能提升大姿态人脸正面化任务中的身份保留能力，尤其是在90°等极端角度下？
• RQ2 多判别器人脸注意力机制是否能增强合成正面人脸的局部真实感并减少伪影？
• RQ3 人脸注意力判别器的各个独立组件（皮肤、关键点、发际线）对最终合成质量的贡献有何差异？
• RQ4 与仅使用单一注意力机制或不使用任何注意力机制相比，生成器中的自注意力与判别器中的人脸注意力机制联合使用能在多大程度上提升整体性能？
• RQ5 所提出的DA-GAN是否能在多样化的姿态变化下，同时在定量指标与定性真实感方面超越当前最先进方法？

主要发现

• 与无自注意力机制的变体相比，DA-GAN在90°姿态下的人脸识别准确率提升了23.43%，证明其在极端条件下具备卓越的身份保留能力。
• 同时包含自注意力与人脸注意力的模型在所有变体中表现最佳，尤其在大姿态下保持一致的性能优势，且在Multi-PIE与CAS-PEAL-R1基准上表现突出。
• 关键点判别器对识别性能贡献最大，而发际线判别器最显著提升了边缘锐度与纹理保真度。
• 定性结果表明，双注意力生成的图像在面部细节（如眼睛、耳朵、头发）上更清晰，且伪影更少，优于基线模型与部分注意力变体。
• 消融实验验证：自注意力机制可减少模糊，人脸注意力机制可增强局部真实感，二者提供互补性改进。
• 在LFW基准上，DA-GAN在合成正面人脸的排名-1识别率上达到最高，证实其在真实世界人脸识别场景中的有效性。