[论文解读] InfoGAN: Interpretable Representation Learning by Information Maximizing Generative Adversarial Nets

Xi Chen, Yan Duan+4 more|arXiv (Cornell University)|Jun 11, 2016

Generative Adversarial Networks and Image Synthesis参考文献 23被引用 2,416

一句话总结

InfoGAN 通过信息论正则化扩展 GAN，最大化潜在代码子集与生成图像之间的互信息，从而在无监督学习中获得可解释且解耦的表示。

ABSTRACT

This paper describes InfoGAN, an information-theoretic extension to the Generative Adversarial Network that is able to learn disentangled representations in a completely unsupervised manner. InfoGAN is a generative adversarial network that also maximizes the mutual information between a small subset of the latent variables and the observation. We derive a lower bound to the mutual information objective that can be optimized efficiently, and show that our training procedure can be interpreted as a variation of the Wake-Sleep algorithm. Specifically, InfoGAN successfully disentangles writing styles from digit shapes on the MNIST dataset, pose from lighting of 3D rendered images, and background digits from the central digit on the SVHN dataset. It also discovers visual concepts that include hair styles, presence/absence of eyeglasses, and emotions on the CelebA face dataset. Experiments show that InfoGAN learns interpretable representations that are competitive with representations learned by existing fully supervised methods.

研究动机与目标

• 在没有标签的情况下，推动无监督学习的解耦表示。
• 开发一个信息理论扩展到 GANs，以学习有意义的潜在因子。
• 证明该方法在 MNIST、SVHN、CelebA 和 3D 数据集上发现语义概念。
• 提供一个可扩展、可训练的目标，使潜在码能够对生成输出产生有意义的控制。

提出的方法

• 将 GAN 输入分解为不可压缩的噪声 z 和潜在代码 c，以指导生成 G(z, c)。
• 引入互信息项 I(c; G(z, c))，在极小极大目标中用超参数 λ 进行正则化。
• 使用辅助分布 Q(c|x) 来逼近 P(c|x)，推导变分下界 LI(G, Q)。
• 通过简单的重参数化技巧，将 D、G、Q 端到端训练，以最大化 V(D, G) − λLI(G, Q)。
• 将 Q 参数化为与判别器 D 共享层的神经网络，从而几乎没有额外成本。
• 在 Q 内对离散码使用 softmax，对连续码使用对角高斯分布。

实验结果

研究问题

• RQ1 信息理论正则化是否能够在无监督 GAN 框架中诱导可解释的潜在因子？
• RQ2 潜在代码 c 是否在跨数据集的无监督情况下对应语义上有意义的变化（例如数字形状、姿态、光照、发型）？
• RQ3 就解耦程度和对下游任务的有用性而言，InfoGAN 学得的表示与有监督方法相比如何？

主要发现

• InfoGAN 在 MNIST 上迅速最大化 LI(G, Q) 至熵 H(c)，表明界限紧凑且达到了最大互信息。
• 在 MNIST 上，单个离散码捕获数字类型，而连续码建模旋转和宽度，具有有意义且可推广的变异。
• 在 3D 人脸和椅子数据上，InfoGAN 学习连续因子，如方位角、仰角和光照，以及无监督的连续姿态或宽度变化。
• 在 SVHN 上，InfoGAN 学习诸如光照和中心数字上下文等因素，尽管图像嘈杂、混乱。
• 在 CelebA 上，InfoGAN 在无标签的情况下发现方位、眼镜的存在/缺失、发型和情绪，展示出高水平的语义解耦。