[论文解读] Load Balanced GANs for Multi-view Face Image Synthesis

Jie Cao, Yibo Hu+3 more|arXiv (Cornell University)|Feb 21, 2018

Face recognition and analysis参考文献 19被引用 19

一句话总结

该论文提出了一种用于多视角人脸图像合成的负载均衡生成对抗网络（LB-GAN），通过将任务分解为两个约束子任务：用于正面化的面部归一化器和用于姿态旋转的面部编辑器。采用条件自循环损失和基于注意力的L2损失，以两阶段方式训练，LB-GAN在各种姿态下生成逼真且身份一致的人脸图像，在受控和非受控数据集上的姿态不变人脸识别任务中达到最先进性能。

ABSTRACT

Multi-view face synthesis from a single image is an ill-posed problem and often suffers from serious appearance distortion. Producing photo-realistic and identity preserving multi-view results is still a not well defined synthesis problem. This paper proposes Load Balanced Generative Adversarial Networks (LB-GAN) to precisely rotate the yaw angle of an input face image to any specified angle. LB-GAN decomposes the challenging synthesis problem into two well constrained subtasks that correspond to a face normalizer and a face editor respectively. The normalizer first frontalizes an input image, and then the editor rotates the frontalized image to a desired pose guided by a remote code. In order to generate photo-realistic local details, the normalizer and the editor are trained in a two-stage manner and regulated by a conditional self-cycle loss and an attention based L2 loss. Exhaustive experiments on controlled and uncontrolled environments demonstrate that the proposed method not only improves the visual realism of multi-view synthetic images, but also preserves identity information well.

研究动机与目标

• 为解决单图像多视角人脸合成中视觉真实感高且身份保持性好的病态问题。
• 减少外观失真，提升在存在噪声背景等非受控环境下的鲁棒性。
• 通过远程代码实现对偏航角旋转的精确控制。
• 开发一种增强特征解耦与身份一致性的训练策略。
• 利用合成数据在姿态不变人脸识别任务中实现最先进性能。

提出的方法

• LB-GAN采用两对生成对抗网络：一对用于面部归一化器（将输入图像正面化），另一对用于面部编辑器（将正面化图像旋转至目标姿态）。
• 模型采用两阶段训练策略：首先预训练面部归一化器，然后联合微调两个生成器及其对应的判别器。
• 条件自循环损失在输入图像与重建图像之间强制实现循环一致性，提升对背景噪声的鲁棒性。
• 基于注意力的L2损失将优化重点集中在面部区域，减少伪影并保留身份细节。
• 通过远程代码控制输出的偏航角，实现精确的姿态操控。
• 面部编辑器同时以正面化图像和远程代码作为输入，生成目标视角图像。

实验结果

研究问题

• RQ1 将多视角人脸合成任务分解为正面化与姿态旋转子任务，是否能提升视觉真实感与身份保持性？
• RQ2 两阶段训练策略是否能提升合成图像中面部特征的质量与解耦程度？
• RQ3 条件自循环损失与基于注意力的L2损失在非受控环境下在多大程度上提升了鲁棒性？
• RQ4 该模型是否能在极端偏航角下生成逼真图像，同时保持身份保真度？
• RQ5 使用LB-GAN生成的合成数据是否能提升姿态不变人脸识别的性能？

主要发现

• 在Multi-PIE数据集上，LB-GAN在±15°时识别率达到99.1%，在±90°时达到65.4%，显著优于基线模型。
• 在IJB-A数据集上，LB-GAN的准确率达到92.3%，AUC为80.4%，在姿态不变人脸识别任务中超越FF-GAN与DR-GAN。
• 消融实验表明，两阶段训练与正则化损失至关重要，移除后识别率最高下降6.4%。
• 条件自循环损失有效降低了背景噪声干扰，提升了非受控环境下的图像视觉质量。
• 对合成图像的姿态估计显示，平均误差在3.5°以内，与真实图像一致，证实了对偏航角的精确控制。
• 定性结果表明，与竞争方法相比，LB-GAN在极端姿态下生成的图像具有更清晰的面部细节与更自然的纹理。