[论文解读] f-GANs in an Information Geometric Nutshell

Richard Nock, Zac Cranko+3 more|arXiv (Cornell University)|Jul 14, 2017

Adversarial Robustness in Machine Learning参考文献 6被引用 9

一句话总结

本文通过证明训练收敛于变形指数族上的几何优化问题，为 f-GAN 建立了理论基础，揭示了 f-散度与 Bregman 散度之间的变分恒等关系。研究发现，深度结构可自然地分解这些密度，从而实现生成器激活函数与判别器链接函数的合理设计。

ABSTRACT

Nowozin extit{et al} showed last year how to extend the GAN extit{principle} to all $f$-divergences. The approach is elegant but falls short of a full description of the supervised game, and says little about the key player, the generator: for example, what does the generator actually converge to if solving the GAN game means convergence in some space of parameters? How does that provide hints on the generator's design and compare to the flourishing but almost exclusively experimental literature on the subject? In this paper, we unveil a broad class of distributions for which such convergence happens --- namely, deformed exponential families, a wide superset of exponential families --- and show tight connections with the three other key GAN parameters: loss, game and architecture. In particular, we show that current deep architectures are able to factorize a very large number of such densities using an especially compact design, hence displaying the power of deep architectures and their concinnity in the $f$-GAN game. This result holds given a sufficient condition on extit{activation functions} --- which turns out to be satisfied by popular choices. The key to our results is a variational generalization of an old theorem that relates the KL divergence between regular exponential families and divergences between their natural parameters. We complete this picture with additional results and experimental insights on how these results may be used to ground further improvements of GAN architectures, via (i) a principled design of the activation functions in the generator and (ii) an explicit integration of proper composite losses' link function in the discriminator.

研究动机与目标

• 通过识别生成器收敛的底层流形结构，弥合 f-GAN 的信息论公式与信息几何解释之间的差距。
• 通过证明深度神经网络可自然分解变形指数族中的密度，解释其在 f-GAN 中的有效性。
• 基于 f-GAN 的几何结构，提供一种设计生成器激活函数与判别器链接函数的合理框架。
• 通过变形指数族，将已知的 KL 散度与 Bregman 散度之间的恒等关系从指数族扩展至更广泛的分布类。

提出的方法

• 提出 KL 散度到 Bregman 散度恒等关系的变分推广，表明 f-GAN(P, escort(Q)) 等于 Bregman 散度 D(θ∥ϑ) 加上一个惩罚项，适用于变形指数族。
• 识别出变形指数族是 f-GAN 训练收敛于几何优化问题的关键分布类。
• 推导出激活函数（如 ReLU、Softplus、µ-ReLU）的充分条件，确保生成器输出位于变形指数族内。
• 证明深度结构可紧凑表示变形指数族中广泛分布的密度，解释其在 GAN 中的实证成功。
• 提出一种基于 f-GAN 游戏几何结构的系统方法，将复合损失链接函数整合至判别器中。
• 通过在 MNIST 和 LSUN 上使用 DCGAN 和 MLP 架构、不同激活函数（ReLU、Softplus、µ-ReLU、LS 损失）的实验，验证了理论的有效性。

实验结果

研究问题

• RQ1 f-GAN 中的生成器收敛于哪类分布？其几何特征如何刻画？
• RQ2 深度神经网络架构与变形指数族中密度表示之间有何关系？
• RQ3 能否基于信息几何的理论保证来设计生成器的激活函数？
• RQ4 如何利用几何原理将判别器的链接函数显式集成到 f-GAN 框架中？
• RQ5 f-散度与 Bregman 散度之间的理论联系是否可超越指数族？其对 GAN 训练有何影响？

主要发现

• 对于变形指数族，f-GAN 目标函数等于自然参数之间的 Bregman 散度加上一个惩罚项，直接建立了 f-散度最小化与几何优化之间的联系。
• 当惩罚项较小时，f-GAN 训练实质上最小化 Bregman 散度，意味着生成器收敛至几何最优解。
• 深度结构如 DCGAN 和 MLP 可高效分解变形指数族中的大类密度，解释了其在 GAN 中的实证成功。
• 理论分析表明，ReLU、Softplus 和 µ-ReLU 等常见激活函数满足生成变形指数族密度的充分条件。
• 在 MNIST 和 LSUN 上的实验表明，使用 µ > 0 的 µ-ReLU 相较于 ReLU 能提升对数似然性能，验证了生成器激活函数的理论设计。
• 在判别器中使用与 f-GAN 公式中复合损失一致的合适链接函数，可提升训练稳定性和性能，尤其在 WGAN 类设置中表现更优。