[論文レビュー] Information bottleneck through variational glasses

Slava Voloshynovskiy, Mouad Kondah+4 more|arXiv (Cornell University)|Dec 2, 2019

Computer Graphics and Visualization Techniques参考文献 23被引用数 22

ひとこと要約

この論文は、情報ボトルネック（IB）フレームワーク内での相互情報量の変分分解を導入し、教師あり、教師なし、敵対的生成モデルを共通の理論的枠組みで統一する。VAEや関連モデルをIB項の直接的分解を通じて再解釈することにより、$\beta$-VAE、InfoVAE、VAE/GANといった手法との新たな関係が明らかになり、生成圧縮や異常検出の分野における解釈可能性の向上と、原理的根拠の提供が可能になる。

ABSTRACT

Information bottleneck (IB) principle [1] has become an important element in information-theoretic analysis of deep models. Many state-of-the-art generative models of both Variational Autoencoder (VAE) [2; 3] and Generative Adversarial Networks (GAN) [4] families use various bounds on mutual information terms to introduce certain regularization constraints [5; 6; 7; 8; 9; 10]. Accordingly, the main difference between these models consists in add regularization constraints and targeted objectives. In this work, we will consider the IB framework for three classes of models that include supervised, unsupervised and adversarial generative models. We will apply a variational decomposition leading a common structure and allowing easily establish connections between these models and analyze underlying assumptions. Based on these results, we focus our analysis on unsupervised setup and reconsider the VAE family. In particular, we present a new interpretation of VAE family based on the IB framework using a direct decomposition of mutual information terms and show some interesting connections to existing methods such as VAE [2; 3], beta-VAE [11], AAE [12], InfoVAE [5] and VAE/GAN [13]. Instead of adding regularization constraints to an evidence lower bound (ELBO) [2; 3], which itself is a lower bound, we show that many known methods can be considered as a product of variational decomposition of mutual information terms in the IB framework. The proposed decomposition might also contribute to the interpretability of generative models of both VAE and GAN families and create a new insights to a generative compression [14; 15; 16; 17]. It can also be of interest for the analysis of novelty detection based on one-class classifiers [18] with the IB based discriminators.

研究の動機と目的

• 教師あり、教師なし、敵対的生成モデルを共通の情報ボトルネック（IB）フレームワークで統一すること。
• VAE、GAN、関連モデルの間の構造的類似性を明らかにするために、相互情報量項の変分分解を提供すること。
• ELBOの正則化ではなく、IB目的関数の直接的分解を通じてVAEファミリーを再解釈すること。
• 統一された変分バウンドを用いて、IB、VAE、$\beta$-VAE、AAE、InfoVAE、VAE/GANの間の関係を確立すること。
• 生成圧縮や1クラスの新奇性検出といった応用分野における解釈可能性の向上と支援を可能にすること。

提案手法

• 変分分布 $p_{\boldsymbol{\theta}}({\bf c}|{\bf z})$ を用いて真の条件付き分布 $p({\bf c}|{\bf z})$ を近似することで、IBフレームワーク内での相互情報量 $I({\bf Z};{\bf C})$ の変分分解を提案する。
• 変分分類器 $p_{\boldsymbol{\theta}}({\bf c}|{\bf z})$ を導入し、KLダイバージェンスを下界として用いることで、下界 $I^{\text{S}}_{\boldsymbol{\theta},\boldsymbol{\theta}}({\bf Z};{\bf C}) = H({\bf C}) - H_{\boldsymbol{\theta},\boldsymbol{\theta}}({\bf C}|{\bf Z})$ を導出する。
• 教師なしモデルに適用するため、$I({\bf Z};{\bf X})$ を $I({\bf Z};{\bf X}) = H({\bf X}) - H_{\boldsymbol{\theta},\boldsymbol{\theta}}({\bf X}|{\bf Z})$ として表現し、変分オートエンコーダー解釈を可能にする。
• 変分分解を用いて、VAE、$\beta$-VAE、AAE、InfoVAE、VAE/GANを、同じIBベースのフレームワークの特殊ケースとして再定式化する。
• ELBOの直接的正則化を避ける代わりに、相互情報量分解に焦点を当てた新しい目的関数を導入する。
• 変分下界を用いることで、すべてのモデルタイプにおいて微分可能でエンドツーエンド最適化が可能になる。

実験結果

リサーチクエスチョン

• RQ1 情報ボトルネック原理を、教師あり、教師なし、敵対的生成モデルを体系的に統一するためにどのように適用できるか？
• RQ2 変分分解が、VAE、GAN、関連モデル間の構造的同等性を明らかにする役割を果たすか？
• RQ3 IBフレームワーク内の相互情報量項を、ELBO正則化の代わりに、より解釈可能で原理的根拠を持つ方法で分解できるか？
• RQ4 既知の手法、たとえば $\beta$-VAE や InfoVAE が、この統一されたIBベースの変分分解から自然にどのように導かれるか？
• RQ5 このフレームワークが、生成圧縮や1クラスの新奇性検出に与える影響は何か？

主な発見

• 提案された変分分解は、情報ボトルネック原理を通じて、教師あり、教師なし、敵対的モデルを統一する理論的枠組みを提供する。
• 本手法は、VAEや関連モデルをELBO正則化モデルとしてではなく、IBフレームワークにおける相互情報量分解の例として再解釈する。
• 下界 $I^{\text{S}}_{\boldsymbol{\theta},\boldsymbol{\theta}}({\bf Z};{\bf C})$ は、$p({\bf c}|{\bf z})$ の変分近似を通じて導出され、KLダイバージェンス項が有効な下界を保証する。
• 本フレームワークは、既存のモデルを自然に再現する：$\beta$-VAE、AAE、InfoVAE、VAE/GANは、提案されたIBベースの変分分解の特殊ケースとして示される。
• 本手法は、生成モデルの解釈可能性を向上させるとともに、IBベースの識別器を用いた生成圧縮や1クラスの新奇性検出といった応用を支援する。
• 本分析は、IBフレームワークにおける相互情報量の最小化が、ELBOの明示的正則化に代わって変分分解によって達成可能であることを示している。