[论文解读] Good Semi-supervised Learning that Requires a Bad GAN

Zihang Dai, Zhilin Yang+3 more|arXiv (Cornell University)|May 27, 2017

Generative Adversarial Networks and Image Synthesis参考文献 18被引用 231

一句话总结

该论文表明，在基于GAN的半监督学习中，一个糟糕的（互补）生成器有益，并提供一种实用方法，通过在判别器的KL散度目标和条件熵下引导高熵、低密度的互补样本，来实现比特征匹配更优的性能。

ABSTRACT

Semi-supervised learning methods based on generative adversarial networks (GANs) obtained strong empirical results, but it is not clear 1) how the discriminator benefits from joint training with a generator, and 2) why good semi-supervised classification performance and a good generator cannot be obtained at the same time. Theoretically, we show that given the discriminator objective, good semisupervised learning indeed requires a bad generator, and propose the definition of a preferred generator. Empirically, we derive a novel formulation based on our analysis that substantially improves over feature matching GANs, obtaining state-of-the-art results on multiple benchmark datasets.

研究动机与目标

• 以GANs激励半监督学习并理解为什么良好的生成器与强SSL性能不一定同时出现。
• 在标准的K+1判别器目标下，理论性地刻画生成器何时对SSL有贡献。
• 定义并激励一个互补生成器，在特征空间区域生成有助于决策边界放置的样本。
• 提出一种实用的SSL方法，强化生成器的高熵与低密度样本生成，从而优于特征匹配。

提出的方法

• 在判别器为K+1分类器的情况下分析基于GAN的SSL目标，并显示良好的SSL需要一个互补（糟糕的）生成器。
• 在特征空间中定义互补生成器，并建立判别器在何种条件下能学习到正确的高密度边界（命题2）。
• 提出一个生成器目标，结合生成器熵最大化（通过变分编码器或拉开项）与低密度样本惩罚（使用 PixelCNN++ 密度模型）以及一个将 p_G 与输入空间中的互补分布对齐的KL散度目标（式4）。
• 在判别器目标中加入一个条件熵项，以强制对未标记数据形成强烈的真/假信念（式5）。
• 通过迭代训练生成器和判别器，结合增加熵的方法和低密度 Enforcement，来逼近互补生成器框架。

实验结果

研究问题

• RQ1 在GAN-based SSL的标准K+1判别器目标下，生成器是否有益，以及在何种条件下生成器有益或有害？
• RQ2 一个互补（糟糕）生成器是否能提高半监督分类性能，为什么？
• RQ3 如何为生成器和判别器设计一个实际目标，以在高维数据中实现互补生成器的思路？
• RQ4 与特征匹配相比，互补生成器启发的方法在标准SSL基准上取得了哪些经验增益？

主要发现

• 在K+1判别器公式下，完美的生成器并不会提高泛化能力（命题1）。
• 互补（糟糕）生成器有助于在低密度的特征空间区域放置决策边界（命题2）。
• 提出的生成器目标，结合熵最大化与朝向互补分布的低密度采样，在使用相同判别器结构时，相较于特征匹配在MNIST、SVHN和CIFAR-10上有所提升。
• 向判别器加入条件熵项，强化对未标记数据的真/假信念，辅助SSL过程。
• 经验上，该方法在较小的判别器下在MNIST、SVHN和CIFAR-10上达到SOTA，并且与更大模型和自集成方法相竞争。