[论文解读] Differential Generative Adversarial Networks: Synthesizing Non-linear Facial Variations with Limited Number of Training Data

Geonmo Gu, Seong Tae Kim+3 more|arXiv (Cornell University)|Nov 28, 2017

Generative Adversarial Networks and Image Synthesis参考文献 37被引用 10

一句话总结

本文提出了一种新型的生成对抗网络架构——微分生成对抗网络（D-GAN），该架构采用标准判别器与一种新颖的微分判别器，即使在训练数据有限的情况下，也能合成逼真的面部变化（例如表情、姿态、光照）。通过让微分判别器专注于输入图像与生成图像之间的差异，D-GAN能够有效逼近人脸流形，从而实现平滑、可控的图像合成，并使面部表情分类器的准确率相比线性增强方法提升了5.8%。

ABSTRACT

In face-related applications with a public available dataset, synthesizing non-linear facial variations (e.g., facial expression, head-pose, illumination, etc.) through a generative model is helpful in addressing the lack of training data. In reality, however, there is insufficient data to even train the generative model for face synthesis. In this paper, we propose Differential Generative Adversarial Networks (D-GAN) that can perform photo-realistic face synthesis even when training data is small. Two discriminators are devised to ensure the generator to approximate a face manifold, which can express face changes as it wants. Experimental results demonstrate that the proposed method is robust to the amount of training data and synthesized images are useful to improve the performance of a face expression classifier.

研究动机与目标

• 为解决面部相关深度学习应用中训练数据有限的问题，特别是针对表情、姿态和光照等非线性变化。
• 开发一种能够生成逼真面部图像的生成模型，实现面部属性之间平滑、可控的过渡。
• 通过非线性、流形感知的合成方法，实现有效的数据增强，用于面部表情识别。
• 采用单一训练流程端到端训练模型，即使在数据稀缺的情况下也无需复杂的训练策略。

提出的方法

• 所提出的D-GAN使用一个生成器，其输入为源图像和目标标签（例如表情或姿态），输出为合成的面部图像。
• 标准判别器通过将生成图像与真实图像区分开来，确保生成图像的逼真性。
• 引入一种微分判别器，用于评估输入图像与生成图像之间的差异图像，且仅关注面部变化部分。
• 微分判别器促使生成器学习在人脸流形上正确的面部变化方向，从而提升结构一致性。
• 生成器通过同时包含两个判别器的极小化极大博弈进行训练，优化图像的真实感与准确的面部转换。
• 模型采用单一优化过程端到端训练，无需复杂的训练调度或超参数调优。

实验结果

研究问题

• RQ1 当仅有少量训练图像时，基于GAN的模型能否有效合成非线性面部变化（如表情、姿态、光照）？
• RQ2 与标准GAN相比，使用微分判别器在面部图像合成的质量与可控性方面有何提升？
• RQ3 所提出的D-GAN模型能否泛化到未见过的面部属性组合（如一种新表情搭配此前未见的姿态）？
• RQ4 与线性增强相比，使用D-GAN进行非线性数据增强在多大程度上提升了面部表情分类器的性能？

主要发现

• 使用非线性增强数据的D-GAN在面部表情识别任务中达到68.20%的准确率，相比线性增强方法（62.40%）提升了5.8%。
• 该模型即使在训练数据有限的情况下，也能成功合成高质量、逼真的面部图像，并实现面部属性之间的平滑过渡。
• 微分判别器显著增强了生成器学习准确面部变化的能力，在数据稀缺条件下优于仅使用标准判别器的模型。
• 该方法可泛化至未见的属性组合，例如合成一种新表情搭配未观察到的头部姿态或光照条件。
• 在极小数据量下，该模型在非线性面部变化合成任务中达到最先进性能，展现出强大的鲁棒性与泛化能力。
• 端到端训练过程稳定且高效，即使仅有2,000张训练图像，也无需复杂训练策略。