[论文解读] Auto-Encoding Total Correlation Explanation

Shuyang Gao, Rob Brekelmans+2 more|arXiv (Cornell University)|Feb 16, 2018

Time Series Analysis and Forecasting参考文献 26被引用 32

一句话总结

本文提出了一种相关解释（CorEx）目标的变分下界，揭示了CorEx与变分自编码器（VAE）之间的深刻联系。通过从总相关性的信息论视角重新诠释VAE，作者提出了AnchorVAE，该方法通过重新加权潜在因子并从学习到的后验分布中采样，而非标准高斯先验，从而提升了特征解耦性并生成了更真实的样本。

ABSTRACT

Advances in unsupervised learning enable reconstruction and generation of samples from complex distributions, but this success is marred by the inscrutability of the representations learned. We propose an information-theoretic approach to characterizing disentanglement and dependence in representation learning using multivariate mutual information, also called total correlation. The principle of total Cor-relation Ex-planation (CorEx) has motivated successful unsupervised learning applications across a variety of domains, but under some restrictive assumptions. Here we relax those restrictions by introducing a flexible variational lower bound to CorEx. Surprisingly, we find that this lower bound is equivalent to the one in variational autoencoders (VAE) under certain conditions. This information-theoretic view of VAE deepens our understanding of hierarchical VAE and motivates a new algorithm, AnchorVAE, that makes latent codes more interpretable through information maximization and enables generation of richer and more realistic samples.

研究动机与目标

• 解决VAE及其他生成模型在无监督表示学习中可解释性不足的问题。
• 通过引入灵活的变分近似，放宽CorEx此前仅限于离散或高斯变量的限制性假设。
• 提供一个统一的信息论框架，通过最小化总相关性，将VAE与解耦性联系起来。
• 通过将可解释信息定位在特定潜在因子中，而不向目标函数添加新项，从而提升解耦性和样本质量。
• 证明从真实后验分布中采样潜在码，而非固定先验，可提升VAE的生成质量。

提出的方法

• 使用深度神经网络推导CorEx目标的变分下界，使复杂非高斯分布的优化成为可能。
• 表明在标准因子分解假设下，CorEx的变分下界退化为标准VAE的证据下界（ELBO），从而为VAE提供了双重信息论解释。
• 提出AnchorVAE，一种新的训练目标，通过重新加权互信息项，使特定潜在因子对输入数据具有唯一的信息性。
• 将CorEx目标分解为两部分：一部分衡量从输入到潜在空间的信息传递，另一部分通过最小化总相关性来强制潜在因子之间的统计独立性。
• 用学习到的潜在码后验分布替代VAE中的标准高斯先验，从而实现更丰富、更真实的样本生成。
• 利用无监督信息瓶颈解释，将表示压缩与重建保真度之间的权衡建模为一个优化问题。

实验结果

研究问题

• RQ1 如何将CorEx目标泛化至离散和高斯假设之外，以适用于深度表示学习？
• RQ2 在标准变分近似下，CorEx目标与VAE目标之间存在何种关系？
• RQ3 在潜在空间中最小化总相关性是否能导致分层VAE中更具解耦性和可解释性的表示？
• RQ4 如何在不通过新增项（如InfoGAN）的情况下，使特定潜在因子更具可解释性？
• RQ5 从真实后验分布 $p(\mathbf{z}_i) = \int_\mathbf{x} p(\mathbf{z}_i|\mathbf{x})p(\mathbf{x})d\mathbf{x}$ 中采样潜在码，而非从固定先验中采样，是否能提升VAE的样本质量？

主要发现

• 在常见因子分解假设下，CorEx目标的变分下界在数学上等价于标准VAE的ELBO，揭示了VAE的双重信息论解释。
• CorEx目标自然分解为一个无监督信息瓶颈，平衡了重建保真度与表示压缩性。
• AnchorVAE通过重新加权互信息项，成功地将可解释信息定位在特定潜在因子中，提升了解耦性，且无需向目标函数添加新项。
• 从真实后验分布 $p(\mathbf{z}_i) = \int_\mathbf{x} p(\mathbf{z}_i|\mathbf{x})p(\mathbf{x})d\mathbf{x}$ 中采样潜在码，而非从标准高斯先验中采样，可使VAE生成显著更真实且多样化的样本。
• 分层VAE在深层中隐式促进了解耦性，表现为各层间总相关性的逐步降低，这一现象此前未被注意。
• 所提方法在解耦性和样本质量方面优于标准VAE和 $β$-VAE，尤其在捕捉图像数据中直观可解释的变异因子方面表现更优。