[论文解读] Inferencing Based on Unsupervised Learning of Disentangled Representations

Tobias Hinz, Stefan Wermter|arXiv (Cornell University)|Mar 7, 2018

Generative Adversarial Networks and Image Synthesis参考文献 3被引用 8

一句话总结

该论文提出了一种基于生成对抗网络（GAN）的框架——双向信息最大化生成对抗网络（Bidirectional-InfoGAN），通过结合生成器、判别器和专用编码器，在无监督设置下学习数据的解耦且可解释的表征。编码器将真实数据映射到有意义的可变因素（如数字类别、笔画粗细和面部属性）上，从而实现无需标签的推理与可控图像生成，在MNIST数据集上实现了96.61%的数字类别推理准确率。

ABSTRACT

Combining Generative Adversarial Networks (GANs) with encoders that learn to encode data points has shown promising results in learning data representations in an unsupervised way. We propose a framework that combines an encoder and a generator to learn disentangled representations which encode meaningful information about the data distribution without the need for any labels. While current approaches focus mostly on the generative aspects of GANs, our framework can be used to perform inference on both real and generated data points. Experiments on several data sets show that the encoder learns interpretable, disentangled representations which encode descriptive properties and can be used to sample images that exhibit specific characteristics.

研究动机与目标

• 在无需标注数据的情况下学习数据的解耦且可解释的表征。
• 解决依赖判别器进行推理时可能无法学习到有意义数据因素的局限性。
• 通过单一统一的无监督训练框架，同时实现生成与推理功能。
• 在保持潜在代码解耦性的同时，发现未知的数据生成因素。
• 为下游任务提供一种基于从无标注数据中学习到的有意义且解耦特征的预训练方法。

提出的方法

• 将生成器、判别器和专用编码器网络整合进双向生成对抗网络框架中。
• 将潜在码划分为条件码 $c$（用于解耦因素）和噪声 $z$，并通过最大化 $c$ 与生成图像之间的互信息来建模。
• 采用对抗训练策略：判别器负责将输入分类为真实或生成样本，而编码器则旨在从真实图像中重建生成器的输入。
• 应用互信息损失，以促使生成器将特定图像特征与潜在码 $c$ 的特定部分相关联。
• 采用改进的生成对抗网络目标函数，联合优化生成器、编码器和判别器，以学习解耦表征。
• 在潜在码上使用支持解耦性的先验分布，替代简单的高斯或均匀分布等传统先验。

实验结果

研究问题

• RQ1 是否能够通过引入编码器的生成对抗网络框架，在无任何标注监督的情况下学习到数据的解耦表征？
• RQ2 编码器网络是否能够生成与实际数据因素（如数字类别或面部属性）相对应的可解释且有意义的表征？
• RQ3 该框架是否能够通过将真实数据映射到解耦的潜在码上，实现对真实数据的可靠推理？
• RQ4 该模型在无监督设置下，能够在多大程度上发现未知或此前未标注的数据生成因素？
• RQ5 所学习到的表征在支持下游任务（如分类或可控图像生成）方面表现如何？

主要发现

• 在MNIST数据集上，编码器能够为不同数字类别分配独立的分类码，且在训练过程中未使用标签，测试准确率高达96.61%。
• 该模型成功将笔画粗细和数字旋转等属性解耦为连续的潜在变量，从而实现基于这些属性的可控图像采样。
• 在CelebA数据集上，模型学习到了诸如眼镜、发色和背景颜色等可解释的解耦因素，该结果通过可视化采样得到验证。
• 在SVHN数据集上，模型识别出包括数字类型、背景颜色和图像对比度在内的解耦因素，展现出在不同数据集间的泛化能力。
• 通过在解耦码 $c$ 的特定值上进行条件控制，该框架实现了可控图像生成，即使这些属性在训练中未被显式标注。
• 该方法在推理准确率上优于无监督基线模型（如InfoGAN），并可与半监督方法相媲美，同时保持完全无监督的特性。