[論文レビュー] Avoiding Latent Variable Collapse With Generative Skip Models

Adji Bousso Dieng, Yoon Kim+2 more|arXiv (Cornell University)|Jul 12, 2018

Generative Adversarial Networks and Image Synthesis参考文献 32被引用数 35

ひとこと要約

この論文では、変分オートエンコーダー（VAE）における潜在変数の崩壊を防ぐために生成モデルにスキップ接続を導入するスキップ変分オートエンコーダー（Skip-VAE）を提案する。潜在変数と観測値の間の強い依存関係を強制することで、Skip-VAEは相互情報量を増加させ、より意味のある表現を生成する。MNIST、オムニグラット、Yahooテキストデータセットにおいて、標準VAEと同等の尤度性能を維持しながら、表現品質においても優れた性能を示す。

ABSTRACT

Variational autoencoders learn distributions of high-dimensional data. They model data with a deep latent-variable model and then fit the model by maximizing a lower bound of the log marginal likelihood. VAEs can capture complex distributions, but they can also suffer from an issue known as "latent variable collapse," especially if the likelihood model is powerful. Specifically, the lower bound involves an approximate posterior of the latent variables; this posterior "collapses" when it is set equal to the prior, i.e., when the approximate posterior is independent of the data. While VAEs learn good generative models, latent variable collapse prevents them from learning useful representations. In this paper, we propose a simple new way to avoid latent variable collapse by including skip connections in our generative model; these connections enforce strong links between the latent variables and the likelihood function. We study generative skip models both theoretically and empirically. Theoretically, we prove that skip models increase the mutual information between the observations and the inferred latent variables. Empirically, we study images (MNIST and Omniglot) and text (Yahoo). Compared to existing VAE architectures, we show that generative skip models maintain similar predictive performance but lead to less collapse and provide more meaningful representations of the data.

研究の動機と目的

• 潜在変数の崩壊を解消するため、後方分布が事前分布に収束し、意味のあるデータ表現を捉えられなくなるVAEの問題に対処すること。
• 潜在変数と観測データの間の接続を強化することで、VAEの表現能力を向上させること。
• 尤度モデルにおけるスキップ接続が、観測値と推定された潜在変数の間の相互情報量を向上させることを示すこと。
• 特に深層モデルや高次元潜在空間において、崩壊を軽減しながらも高い尤度性能を維持できることを示すこと。
• 半アモルタイズド推論（sa-VAE）のような高度な訓練手法とスキップ接続の相乗効果を評価すること。

提案手法

• 潜在変数zを生成ネットワークの中間層の隠れ状態に複数回連結するスキップ接続を導入する。
• 尤度pθ(x|z)を、zから中間層にリサンプルのようなスキップ接続を持つ深層ネットワークでパラメータ化する生成スキップモデルを構築する。
• アモルタイズド変分推論を用いて訓練し、生成パラメータθと推論ネットワークパラメータφの両方を最適化することで、下界尤度（ELBO）を最適化する。
• 球面ガウス事前分布p(z) = N(0, I)を用い、尤度と後方分布を深層ニューラルネットワークでパラメータ化する。
• スキップ接続を半アモルタイズド推論（sa-VAE）と組み合わせることで、後方分布の品質をさらに向上させ、崩壊を軽減する。
• MNISTおよびYahooテキストデータにおける分類精度、相互情報量、KLダイバージェンス、アクティブユニット分析を用いて性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 生成モデルにスキップ接続を追加することで、VAEにおける潜在変数の崩壊が軽減されるか？
• RQ2 スキップ接続は、観測データと推定された潜在変数の間の相互情報量をどの程度向上させるか？
• RQ3 表現品質および尤度の観点から、Skip-VAEは標準VAEやsa-VAEと比較してどのように異なるか？
• RQ4 モデルの深さや潜在次元数が増加するにつれて、スキップ接続の利点は増大するか？
• RQ5 スキップ接続は、テキスト生成のための自己回帰的VAEにおいて、崩壊を効果的に緩和できるか？

主な発見

• MNISTでは、後方分布の平均を特徴量として用いたSkip-VAEは98.10%の分類精度を達成したのに対し、標準VAEは97.19%であった。
• 弱いモデル（MLPベースのエンコーダ/デコーダ）を用いた場合、Skip-VAEは98.25%の精度を達成したのに対し、標準VAEは97.70%であった。
• Yahooテキストデータセットでは、スキップ付きsa-VAEは64次元のすべての潜在変数を効果的に活用したが、標準sa-VAEは高次元領域で相互情報量とアクティブユニットが低下していた。
• 潜在次元数が増加するにつれて、Skip-VAEは相互情報量を維持または向上させ、崩壊度を低減したが、標準VAEは高次元化に伴い性能が悪化した。
• スキップ付きsa-VAEは、sa-VAE単体よりも高い相互情報量とより優れた崩壊抑制効果を示し、スキップ接続と半アモルタイズド推論の相乗効果が裏付けられた。
• t-SNE可視化により、Skip-VAEの潜在空間は標準VAEと比較して、より構造的でクラス判別性の高いクラスタを形成していることが確認された。