[论文解读] Fisher GAN

Youssef Mroueh, Tom Sercu|arXiv (Cornell University)|May 26, 2017

Generative Adversarial Networks and Image Synthesis参考文献 34被引用 11

一句话总结

Fisher GAN 在积分概率度量（IPM）家族中引入了一种新颖的训练框架，通过在判别器的二阶矩上施加数据相关的约束，实现了无需权重裁剪或其他与数据无关的约束的稳定、高效的 GAN 训练。该方法在图像生成和半监督分类任务中均表现出色，同时保持了判别器的容量。

ABSTRACT

Generative Adversarial Networks (GANs) are powerful models for learning complex distributions. Stable training of GANs has been addressed in many recent works which explore different metrics between distributions. In this paper we introduce Fisher GAN which fits within the Integral Probability Metrics (IPM) framework for training GANs. Fisher GAN defines a critic with a data dependent constraint on its second order moments. We show in this paper that Fisher GAN allows for stable and time efficient training that does not compromise the capacity of the critic, and does not need data independent constraints such as weight clipping. We analyze our Fisher IPM theoretically and provide an algorithm based on Augmented Lagrangian for Fisher GAN. We validate our claims on both image sample generation and semi-supervised classification using Fisher GAN.

研究动机与目标

• 为解决传统 GAN 训练中的不稳定性和低效性，提出一种基于 IPM 的新框架。
• 消除 GAN 训练中对权重裁剪等与数据无关约束的需求。
• 在通过新颖的矩约束确保稳定优化的同时，保持高判别器容量。
• 开发一种理论基础坚实且计算高效的 GAN 训练算法。
• 在图像生成和半监督分类任务上验证该方法的有效性。

提出的方法

• Fisher GAN 在判别器输出的二阶矩上施加数据相关的约束，构建判别器。
• 该方法在积分概率度量（IPM）框架内运行，使用基于费舍尔散度的度量来衡量分布差异。
• 提出一种增广拉格朗日算法，以高效求解训练中的约束优化问题。
• 判别器在适应数据分布的矩约束下，被训练以区分真实样本与生成样本。
• 该约束确保了稳定性，同时不限制判别器的表征能力。
• 该框架支持使用相同的判别器架构实现无条件生成和半监督学习。

实验结果

研究问题

• RQ1 是否可以通过数据相关的矩约束实现 GAN 训练的稳定，而无需依赖权重裁剪？
• RQ2 Fisher GAN 是否在确保训练稳定性的同时保持了判别器的表征能力？
• RQ3 与现有基于 IPM 的 GAN 相比，Fisher GAN 在训练效率和样本质量方面表现如何？
• RQ4 Fisher GAN 是否能在半监督分类任务中实现优异性能？
• RQ5 所提出的 Fisher IPM 公式在理论上是否具有充分依据？

主要发现

• Fisher GAN 实现了无需权重裁剪或其他与数据无关约束的稳定且时间高效的 GAN 训练。
• 该方法保持了高判别器容量，避免了因架构限制导致的性能下降。
• 增广拉格朗日算法在实践中有效求解了约束优化问题。
• Fisher GAN 在图像样本生成任务中表现优异，生成了高质量的样本。
• 该模型在半监督分类基准上表现良好，表明其具备强大的特征学习能力。
• 理论分析证实了 Fisher IPM 公式在 IPM 框架内的有效性。