[论文解读] Gradient Layer: Enhancing the Convergence of Adversarial Training for Generative Models

Atsushi Nitanda, Taiji Suzuki|arXiv (Cornell University)|Jan 7, 2018

Model Reduction and Neural Networks被引用 4

一句话总结

本文提出梯度层（gradient layer）这一新技术，通过在无限维函数空间中利用泛函梯度实现优化，显著提升了生成模型对抗训练的收敛速度。通过将生成器视为连续函数并采用梯度流离散化方法，该方法可摆脱有限维模型中的局部最优，实现更快收敛与更优的样本质量——在CIFAR-10与STL-10数据集上均取得更高的Inception分数，验证了其有效性。

ABSTRACT

We propose a new technique that boosts the convergence of training generative adversarial networks. Generally, the rate of training deep models reduces severely after multiple iterations. A key reason for this phenomenon is that a deep network is expressed using a highly non-convex finite-dimensional model, and thus the parameter gets stuck in a local optimum. Because of this, methods often suffer not only from degeneration of the convergence speed but also from limitations in the representational power of the trained network. To overcome this issue, we propose an additional layer called the gradient layer to seek a descent direction in an infinite-dimensional space. Because the layer is constructed in the infinite-dimensional space, we are not restricted by the specific model structure of finite-dimensional models. As a result, we can get out of the local optima in finite-dimensional models and move towards the global optimal function more directly. In this paper, this phenomenon is explained from the functional gradient method perspective of the gradient layer. Interestingly, the optimization procedure using the gradient layer naturally constructs the deep structure of the network. Moreover, we demonstrate that this procedure can be regarded as a discretization method of the gradient flow that naturally reduces the objective function. Finally, the method is tested using several numerical experiments, which show its fast convergence.

研究动机与目标

• 解决深度生成模型对抗训练中收敛缓慢与陷入局部最优的问题。
• 克服GAN中有限维参数化生成器的表示能力限制。
• 提出一种在无限维函数空间中操作的方法，以逃离局部最优。
• 为使用泛函梯度方法实现更快收敛提供理论依据。
• 通过在标准基准上的实证评估，验证梯度层的有效性。

提出的方法

• 提出梯度层作为在无限维空间中计算泛函梯度的机制，避免有限维参数化带来的约束。
• 采用泛函梯度方法寻找不局限于有限维模型切空间的下降方向。
• 将训练过程视为在概率测度空间中梯度流的离散化，以最小化生成数据分布与真实数据分布之间的距离。
• 通过顺序堆叠梯度层，使每次迭代等价于向生成器添加一层，自然形成深层结构。
• 在训练末期通过在生成器输出激活函数（如tanh）下方插入梯度层来应用该方法。
• 使用ADAM优化判别器，并为梯度层更新采用改进的学习率调度策略，以确保稳定性和收敛性。

实验结果

研究问题

• RQ1 通过泛函梯度实现的无限维优化能否改善GAN对抗训练中的收敛性？
• RQ2 梯度层方法是否能摆脱有限维模型所受的局部最优限制？
• RQ3 梯度层能否被解释为在概率测度空间中梯度流的离散化？
• RQ4 梯度层如何影响生成器的表示能力与样本质量？
• RQ5 与标准GAN和WGAN相比，该方法是否实现更快收敛与更优性能？

主要发现

• 在CIFAR-10数据集上，Inception分数从WGAN-GP的6.32提升至6.80，表明收敛更快且样本质量更优。
• 在STL-10数据集上，Inception分数从WGAN-GP的7.40提升至7.71，证明性能提升具有持续性。
• 在具有挑战性的玩具数据集（如8-高斯与25-高斯分布）上，仅用100次生成器迭代即可生成高质量样本，甚至无需预训练。
• 梯度层方法在训练末期表现出Inception分数的快速提升，表明其有效优化了生成器的表示能力。
• 理论分析证实，梯度层对应于在概率测度空间中梯度流的离散化，为优化提供了合理理论框架。
• 通过堆叠梯度层，该方法自然构建深层结构，每次迭代等价于向生成器添加一层。