[论文解读] Improving GAN Training via Binarized Representation Entropy (BRE) Regularization

Yanshuai Cao, Gavin Weiguang Ding+2 more|arXiv (Cornell University)|May 9, 2018

Generative Adversarial Networks and Image Synthesis参考文献 23被引用 9

一句话总结

本文提出二值化表示熵（BRE）正则化，通过鼓励判别器的内部隐藏层产生多样化、高熵的二值激活模式，从而改善生成对抗网络（GAN）的训练，使生成器获得更具信息量且更稳定的梯度。该方法在合成数据集和真实数据集上均提升了训练稳定性、收敛速度和生成样本质量，并在半监督学习中实现了准确率提升。

ABSTRACT

We propose a novel regularizer to improve the training of Generative Adversarial Networks (GANs). The motivation is that when the discriminator D spreads out its model capacity in the right way, the learning signals given to the generator G are more informative and diverse. These in turn help G to explore better and discover the real data manifold while avoiding large unstable jumps due to the erroneous extrapolation made by D. Our regularizer guides the rectifier discriminator D to better allocate its model capacity, by encouraging the binary activation patterns on selected internal layers of D to have a high joint entropy. Experimental results on both synthetic data and real datasets demonstrate improvements in stability and convergence speed of the GAN training, as well as higher sample quality. The approach also leads to higher classification accuracies in semi-supervised learning.

研究动机与目标

• 为解决GAN训练中的模式崩溃与不稳定性问题，通过改进判别器对其模型容量的分配方式。
• 通过鼓励判别器隐藏层产生高熵激活模式，确保其向生成器提供多样化且具信息量的梯度。
• 通过一种作用于整流器网络二值激活模式的新正则化器，稳定GAN训练并提升生成样本质量。
• 通过BRE正则化带来的判别器容量分配改进，提升半监督学习性能。

提出的方法

• 该方法引入一种正则化器，以最大化判别器选定隐藏层中二值激活模式的联合熵。
• 利用整流器网络容量与激活模式所定义的线性区域数量之间的理论关联，将熵作为容量多样性的代理指标。
• 在训练过程中应用该正则化器，以促使判别器将其容量分配至更多不同的输入区域，避免退化为低熵的激活模式。
• 该方法与标准GAN训练兼容，无需架构修改，仅需增加一个基于熵的小型损失项。
• 正则化同时应用于真实样本与生成样本，以及真实与生成样本之间的插值点，以进一步提升泛化能力。
• 通过在二值化激活上使用可微分的熵近似实现正则化，支持端到端训练。

实验结果

研究问题

• RQ1 通过激活模式多样性改进判别器的容量分配，是否能带来更稳定、更快的GAN训练？
• RQ2 在判别器中鼓励高熵二值激活模式，是否能提升生成样本的质量与多样性？
• RQ3 BRE正则化能否通过提升判别器的表征容量，增强半监督学习中的泛化能力？
• RQ4 为何基于梯度的多样性正则化器在整流器网络中失效？BRE如何克服这一局限？

主要发现

• BRE正则化显著加快了收敛速度并提升了训练稳定性，尤其在SVHN数据集的长时间训练中，100%的实验中均有效减少了发散现象。
• 在CIFAR-10数据集上使用特征匹配GAN时，BRE将测试误差率降低至13.93%（10重集成），低于未使用BRE时的14.25%，表明泛化能力更强。
• 在训练过程中，Inception分数持续提升，表明生成样本质量更高、多样性更强，尤其在训练初期表现显著。
• 即使仅对生成样本和插值样本应用BRE正则化，未对真实样本应用，该方法仍成功引导判别器将容量分配至更多线性区域。
• 该方法在不改变网络架构的前提下提升了半监督学习性能，证明其在不同设置下的兼容性与有效性。
• 实验表明，基于梯度的多样性正则化器在整流器网络中失效，原因在于共享激活模式下梯度的共线性问题，而BRE通过作用于完整的激活模式，成功克服了这一限制。