[论文解读] InfoCatVAE: Representation Learning with Categorical Variational Autoencoders

Edouard Pineau, Marc Lelarge|arXiv (Cornell University)|Jun 20, 2018

Topic Modeling参考文献 27被引用 10

一句话总结

本文提出 InfoCatVAE，一种使用固定多模态先验和推理网络的类别变分自编码器，可实现鲁棒且解耦的表征学习。通过改进的 ELBO 最大化类别潜在代码与生成数据之间的互信息，InfoCatVAE 在极简架构复杂度下仍优于标准 VAE 和 AAE，展现出更优的解耦性和样本质量。

ABSTRACT

This paper describes InfoCatVAE, an extension of the variational autoencoder that enables unsupervised disentangled representation learning. InfoCatVAE uses multimodal distributions for the prior and the inference network and then maximizes the evidence lower bound objective (ELBO). We connect the new ELBO derived for our model with a natural soft clustering objective which explains the robustness of our approach. We then adapt the InfoGANs method to our setting in order to maximize the mutual information between the categorical code and the generated inputs and obtain an improved model.

研究动机与目标

• 解决无监督表征学习中不依赖复杂架构或启发式正则化方法，学习解耦且可解释表征的挑战。
• 通过用固定多模态类别先验替代各向同性高斯先验，提升变分自编码器的稳定性和解耦性。
• 通过显式最大化潜在代码与生成数据之间的互信息，提升表征质量。
• 证明通过合理架构修改（无需大量超参数调优）即可实现强大的解耦性和生成性能。

提出的方法

• 提出一种具有固定多模态先验分布的类别 VAE（CatVAE），替代标准各向同性高斯先验。
• 推导 CatVAE 模型的新证据下界（ELBO），支持类别潜在空间的端到端训练。
• 通过在潜在代码与生成数据之间引入互信息最大化，将 CatVAE 扩展为 InfoCatVAE，采用对比目标。
• 将 InfoGAN 框架适配为通过蒙特卡洛采样实现可微分近似来最大化互信息。
• 使用循环编码器和解码器评估序列数据上的性能，证明在高容量设置下的鲁棒性。
• 采用固定先验以稳定训练，同时保持强解耦性，避免自由先验参数化带来的不稳定性。

实验结果

研究问题

• RQ1 在 VAE 框架中使用固定多模态先验，是否可在无架构复杂度的情况下实现有效的解耦表征学习？
• RQ2 将高斯先验替换为类别先验，对学习表征的可解释性和解耦性有何影响？
• RQ3 潜在代码与生成数据之间互信息最大化在多大程度上提升了生成质量和解耦性？
• RQ4 所提模型在高容量设置（如序列数据建模）中是否保持鲁棒性？

主要发现

• InfoCatVAE 在生成样本与推断类别之间达到 1.62 的交叉熵，显著优于 CatVAE 的 2.03，表明互信息学习能力更强。
• 即使架构复杂度极低，该模型仍能生成高质量且解耦的样本，在采样任务中优于 AAE。
• 在序列 MNIST（视为 28x28 时间序列）上，InfoCatVAE 维持了稳健的生成与解耦性能，而使用自由先验的模型无法稳定训练。
• 固定多模态先验在高容量设置中提供了鲁棒性，防止了自由先验方法中常见的不稳定性。
• 推导出的 CatVAE 的 ELBO 与软聚类目标自然关联，解释了模型在实验中表现出的稳定性和解耦性能。
• InfoCatVAE 支持条件生成和结构化潜在空间，其中显著属性被解耦且可解释。