[论文解读] Information bottleneck through variational glasses

Slava Voloshynovskiy, Mouad Kondah+4 more|arXiv (Cornell University)|Dec 2, 2019

Computer Graphics and Visualization Techniques参考文献 23被引用 22

一句话总结

本文在信息瓶颈（IB）框架内提出了互信息的变分分解，统一了监督式、无监督式和对抗式生成模型的理论结构。通过直接分解IB项重新诠释变分自编码器（VAE）及相关模型，揭示了与$\beta$-VAE、InfoVAE及VAE/GAN等方法的新关联，提升了可解释性，并为生成压缩与异常检测提供了原则性基础。

ABSTRACT

Information bottleneck (IB) principle [1] has become an important element in information-theoretic analysis of deep models. Many state-of-the-art generative models of both Variational Autoencoder (VAE) [2; 3] and Generative Adversarial Networks (GAN) [4] families use various bounds on mutual information terms to introduce certain regularization constraints [5; 6; 7; 8; 9; 10]. Accordingly, the main difference between these models consists in add regularization constraints and targeted objectives. In this work, we will consider the IB framework for three classes of models that include supervised, unsupervised and adversarial generative models. We will apply a variational decomposition leading a common structure and allowing easily establish connections between these models and analyze underlying assumptions. Based on these results, we focus our analysis on unsupervised setup and reconsider the VAE family. In particular, we present a new interpretation of VAE family based on the IB framework using a direct decomposition of mutual information terms and show some interesting connections to existing methods such as VAE [2; 3], beta-VAE [11], AAE [12], InfoVAE [5] and VAE/GAN [13]. Instead of adding regularization constraints to an evidence lower bound (ELBO) [2; 3], which itself is a lower bound, we show that many known methods can be considered as a product of variational decomposition of mutual information terms in the IB framework. The proposed decomposition might also contribute to the interpretability of generative models of both VAE and GAN families and create a new insights to a generative compression [14; 15; 16; 17]. It can also be of interest for the analysis of novelty detection based on one-class classifiers [18] with the IB based discriminators.

研究动机与目标

• 在统一的信息瓶颈（IB）框架下，将监督式、无监督式和对抗式生成模型统一起来。
• 提供互信息项的变分分解，揭示VAE、GAN及相关模型之间的结构相似性。
• 不通过ELBO正则化，而是通过IB目标的直接分解，重新诠释VAE家族。
• 利用统一的变分界，建立IB、VAE、$\beta$-VAE、AAE、InfoVAE与VAE/GAN之间的联系。
• 实现更高的可解释性，并支持生成压缩与单类新颖性检测等应用。

提出的方法

• 在IB框架中提出互信息$I({\bf Z};{\bf C})$的变分分解，使用变分分布$p_{\boldsymbol{\theta}}({\bf c}|{\bf z})$近似真实条件分布$p({\bf c}|{\bf z})$。
• 通过引入变分分类器$p_{\boldsymbol{\theta}}({\bf c}|{\bf z})$并利用KL散度作为下界，推导出下界$I^{\text{S}}_{\boldsymbol{\theta},\boldsymbol{\theta}}({\bf Z};{\bf C}) = H({\bf C}) - H_{\boldsymbol{\theta},\boldsymbol{\theta}}({\bf C}|{\bf Z})$。
• 通过表达$I({\bf Z};{\bf X}) = H({\bf X}) - H_{\boldsymbol{\theta},\boldsymbol{\theta}}({\bf X}|{\bf Z})$，将分解应用于无监督模型，实现变分自编码的解释。
• 利用变分分解将现有模型（VAE、$\beta$-VAE、AAE、InfoVAE、VAE/GAN）重新表述为同一IB基础框架下的特例。
• 提出一种基于分解的新目标，避免直接对ELBO进行正则化，转而聚焦于互信息的分解。
• 利用变分下界实现可微训练与所有模型类型的端到端优化。

实验结果

研究问题

• RQ1 如何系统性地将信息瓶颈原理应用于统一监督式、无监督式和对抗式生成模型？
• RQ2 变分分解在揭示VAE、GAN及相关模型之间的结构等价性中起到什么作用？
• RQ3 在IB框架中，互信息项能否以一种更可解释且更具原则性的方式分解，从而替代ELBO正则化？
• RQ4 已知方法如$\beta$-VAE与InfoVAE如何自然地从这一统一的IB基础变分分解中浮现？
• RQ5 该框架对生成压缩与单类新颖性检测有何影响？

主要发现

• 所提出的变分分解提供了一个统一的理论框架，通过信息瓶颈原理将监督式、无监督式和对抗式模型统一起来。
• 该方法不将VAE及相关模型视为ELBO正则化模型，而是将其重新诠释为IB框架中互信息分解的实例。
• 下界$I^{\text{S}}_{\boldsymbol{\theta},\boldsymbol{\theta}}({\bf Z};{\bf C})$通过$p({\bf c}|{\bf z})$的变分近似推导得出，KL散度项确保了有效下界。
• 该框架自然恢复了已知模型：$\beta$-VAE、AAE、InfoVAE与VAE/GAN被证明是所提IB基础变分分解的特例。
• 该方法提升了生成模型的可解释性，并通过IB基础判别器支持生成压缩与单类新颖性检测等应用。
• 分析表明，IB框架中的互信息最小化可通过变分分解实现，而无需显式正则化ELBO。