[论文解读] InfoGAN: Interpretable Representation Learning by Information Maximizing Generative Adversarial Nets

Xi Chen, Yan Duan+4 more|Ghent University Academic Bibliography (Ghent University)|Jun 12, 2016

Generative Adversarial Networks and Image Synthesis参考文献 4被引用 1,246

一句话总结

InfoGAN 在 GAN 中加入信息理论正则化，以最大化少量潜在编码与生成图像之间的互信息，从而在 MNIST、SVHN、CelebA 和 3D 数据集上实现无监督学习的解耦、可解释表示。

ABSTRACT

This paper describes InfoGAN, an information-theoretic extension to the Generative Adversarial Network that is able to learn disentangled representations in a completely unsupervised manner. InfoGAN is a generative adversarial network that also maximizes the mutual information between a small subset of the latent variables and the observation. We derive a lower bound to the mutual information objective that can be optimized efficiently, and show that our training procedure can be interpreted as a variation of the Wake-Sleep algorithm. Specifically, InfoGAN successfully disentangles writing styles from digit shapes on the MNIST dataset, pose from lighting of 3D rendered images, and background digits from the central digit on the SVHN dataset. It also discovers visual concepts that include hair styles, presence/absence of eyeglasses, and emotions on the CelebA face dataset. Experiments show that InfoGAN learns interpretable representations that are competitive with representations learned by existing fully supervised methods.

研究动机与目标

• Motivate unsupervised learning of meaningful, disentangled representations for complex visual data.
• Improve GANs by encouraging the generator to use latent codes to encode semantic factors of variation.
• Demonstrate that mutual information regularization yields interpretable factors without labeled supervision.

提出的方法

• 将 GAN 输入分解为不可压缩的噪声 z 和结构化潜在编码 c.
• 通过一个辅助分布 Q(c|x) 对互信息 I(c; G(z,c)) 的变分下界进行最大化.
• 将极小极大目标 VInfoGAN(D, G, Q) 表述为 V(D, G) − λ LI(G, Q)
• 将 Q 参数化为与判别器共享的神经网络，实现端到端训练。
• 在 Q 中对离散潜在编码使用 softmax、对连续编码使用对角高斯分布。
• 使用 DC-GAN 稳定化技巧和 Adam 优化进行训练。

实验结果

研究问题

• RQ1 在无监督的 GAN 框架中，互信息正则化是否能够诱导可解释和解耦的潜在因素？
• RQ2 InfoGAN 能在没有标签的情况下，在不同数据集上发现哪些语义因素（例如数字类型、姿态、照明、发型、情感）？
• RQ3 InfoGAN 的性能与监督或半监督方法在学习有用表示方面的比较如何？

主要发现

• InfoGAN 在 MNIST、SVHN、CelebA 和 3D 人脸/椅子数据集上无需监督就成功学习解耦表示。
• 离散潜在编码捕捉类别级变异（如 MNIST 上的数字类型），并且可作为可解释的分类器。
• 连续潜在编码捕捉平滑变异（如旋转、宽度、方位、照明），对生成图像的影响较真实。
• InfoGAN 在 CelebA 中发现了诸如发型、是否佩戴眼镜、情感等语义概念。
• 学习到的表示在下游任务上与有监督方法学习的表示具有竞争力。