[論文レビュー] Auto-Encoding Total Correlation Explanation

Shuyang Gao, Rob Brekelmans+2 more|arXiv (Cornell University)|Feb 16, 2018

Time Series Analysis and Forecasting参考文献 26被引用数 32

ひとこと要約

本稿は、相関説明（CorEx）目的関数の変分下界を導入し、CorExと変分オートエンコーダー（VAE）の深い関係を明らかにした。標準的な因子分解仮定の下で、VAEの情報理論的解釈を再考することで、特定の潜在変数を再重み付けし、学習された後方分布からのサンプリングを採用することで、より一貫性のある表現とより現実的なサンプルを生成するAnchorVAEを提案した。

ABSTRACT

Advances in unsupervised learning enable reconstruction and generation of samples from complex distributions, but this success is marred by the inscrutability of the representations learned. We propose an information-theoretic approach to characterizing disentanglement and dependence in representation learning using multivariate mutual information, also called total correlation. The principle of total Cor-relation Ex-planation (CorEx) has motivated successful unsupervised learning applications across a variety of domains, but under some restrictive assumptions. Here we relax those restrictions by introducing a flexible variational lower bound to CorEx. Surprisingly, we find that this lower bound is equivalent to the one in variational autoencoders (VAE) under certain conditions. This information-theoretic view of VAE deepens our understanding of hierarchical VAE and motivates a new algorithm, AnchorVAE, that makes latent codes more interpretable through information maximization and enables generation of richer and more realistic samples.

研究の動機と目的

• VAEやその他の生成モデルが学習する深層非教師あり表現における解釈可能性の欠如に対処すること。
• 従来、離散変数またはガウス分布に限定されていたCorExの制限的な仮定を、柔軟な変分近似を導入することで緩和すること。
• VAEと脱同調性の両者を統一的な情報理論的枠組みで結びつけること、特に全相関の最小化を通じた情報理論的解釈を提供すること。
• 目的関数に新たな項を追加せずに、特定の潜在変数に解釈可能な情報を局在化させることで、脱同調性とサンプル品質を向上させること。
• 固定された事前分布ではなく、真の後方分布からの潜在コードのサンプリングが、VAEにおける生成品質の向上に寄与することを示すこと。

提案手法

• 深層ニューラルネットワークを用いて、複雑で非ガウス分布に対しても最適化可能な、CorEx目的関数の変分下界を導出すること。
• 標準的な因子分解仮定の下で、CorExの変分下界が標準的なVAEの下界（ELBO）に還元されることを示し、VAEに二重の情報理論的解釈を提供すること。
• 特定の潜在変数が入力データに関して一意に情報を持つように、相互情報量項を再重み付けする新しい学習目的であるAnchorVAEを提案すること。
• CorEx目的関数を二つの成分に分解すること：一つは入力から潜在空間への情報伝達を測定し、もう一つは全相関の最小化によって潜在変数間の統計的独立性を強制すること。
• VAEにおける標準的なガウス事前分布を、潜在コード上の学習済み後方分布に置き換えることで、より豊かで現実的なサンプル生成を可能にすること。
• 非教師あり情報ボトルネックの解釈を用いて、表現の圧縮と再構成忠実度のトレードオフを定式化すること。

実験結果

リサーチクエスチョン

• RQ1 CorEx目的関数は、離散変数やガウス分布に限定されない一般化された仮定のもとで、どのように深層表現学習に応用可能になるか？
• RQ2 標準的な変分近似の下で、CorEx目的関数とVAE目的関数の関係は何か？
• RQ3 潜在空間における全相関の最小化は、階層的VAEにおいてより脱同調的かつ解釈可能な表現をもたらすか？
• RQ4 InfoGANのように目的関数に新たな項を追加せずに、特定の潜在変数をより解釈可能にする方法は何か？
• RQ5 固定された事前分布ではなく、真の後方分布からのサンプリングが、VAEにおけるサンプル品質の向上に寄与するか？

主な発見

• 共通する因子分解仮定の下で、CorEx目的関数の変分下界は、標準的なVAEのELBOと数学的に同等であり、VAEに二重の情報理論的解釈を明らかにした。
• CorEx目的関数は自然に非教師あり情報ボトルネックに分解され、再構成忠実度と表現圧縮のバランスを取る。
• AnchorVAEは、相互情報量項の再重み付けにより、特定の潜在変数に解釈可能な情報を局在化させることに成功し、目的関数に新たな項を追加せずに脱同調性を向上させた。
• 潜在コードを $p(\mathbf{z}_i) = \int_\mathbf{x} p(\mathbf{z}_i|\mathbf{x})p(\mathbf{x})d\mathbf{x}$ の真の後方分布からサンプリングすることで、VAEにおいて顕著に現実的で多様性のあるサンプルが得られることを示した。
• 階層的VAEでは、層が深くなるにつれて全相関が段階的に減少する傾向が見られ、これは以前に報告されていなかった現象であり、深い層で自然に脱同調性が促進されることを示している。
• 提案手法は、標準VAEや $β$-VAEに比べて、画像データにおける直感的で解釈可能な変動要因をよりよく捉えることにより、より優れた脱同調性とサンプル品質を達成した。