[論文レビュー] Semi-Amortized Variational Autoencoders

Yoon Kim, Sam Wiseman+3 more|arXiv (Cornell University)|Feb 7, 2018

Generative Adversarial Networks and Image Synthesis参考文献 57被引用数 33

ひとこと要約

本稿では、半アモルタイズド推論と微分可能確率的変分推論（SVI）を組み合わせることで、局所的な変分パラメータの微調整を可能にする半アモルタイズド変分オートエンコーダー（SA-VAE）を提案する。逆誤差伝搬を反復的最適化に適用することで、アーモタイズドギャップを低減し、事後分布の崩壊を防ぐエンドツーエンドの学習が可能となり、標準VAEや自己回帰的ベースラインと比較して、テキストおよび画像生成タスクにおける性能が顕著に向上する。

ABSTRACT

Amortized variational inference (AVI) replaces instance-specific local inference with a global inference network. While AVI has enabled efficient training of deep generative models such as variational autoencoders (VAE), recent empirical work suggests that inference networks can produce suboptimal variational parameters. We propose a hybrid approach, to use AVI to initialize the variational parameters and run stochastic variational inference (SVI) to refine them. Crucially, the local SVI procedure is itself differentiable, so the inference network and generative model can be trained end-to-end with gradient-based optimization. This semi-amortized approach enables the use of rich generative models without experiencing the posterior-collapse phenomenon common in training VAEs for problems like text generation. Experiments show this approach outperforms strong autoregressive and variational baselines on standard text and image datasets.

研究の動機と目的

• 変分オートエンコーダーにおけるアーモタイズドギャップを解消すること。これは、固定された推論ネットワークが最適でない変分パラメータを生成するためのものである。
• 特にテキスト生成において顕著な事後分布の崩壊を克服すること。この現象は、モデルが潜在変数を無視してしまうことを意味する。
• 局所的変分推論を微分可能にすることで、深層生成モデルのエンドツーエンド学習を可能にすること。
• 強い条件付き独立性の仮定に依存せずに、画像およびテキストデータセットにおけるサンプル品質と対数尤度を向上させること。
• 本ハイブリッドアプローチを用いることで、強力な自己回帰的生成モデルが意味のある潜在表現を有効に活用して効果的に学習可能かどうかを示すこと。

提案手法

• アーモルタイズド変分推論と同様に、推論ネットワークを用いて各データポイントの初期変分パラメータを設定する。
• 微分可能確率的変分推論（SVI）を用いて、勾配ベースの最適化によりこれらの初期パラメータを精緻化する。
• 全SVIプロセスに逆誤差伝搬を適用し、推論ネットワークと生成モデルをエンドツーエンドで同時に学習する。
• 反復的精緻化ステップを微分可能な形で扱う勾配更新を用いて、下界尤度（ELBO）を最適化する。
• 微分可能な最適化技術を活用し、局所的精緻化プロセスがモデルパラメータに関して微分可能であるようにする。
• 訓練と推論の整合性を保つために、最終的な精緻化後のELBOを唯一の目的関数として用いる。

実験結果

リサーチクエスチョン

• RQ1 微分可能な局所的変分パラメータの精緻化は、VAEにおける潜在表現の品質を向上させることができるか？
• RQ2 アーモルタイズド初期化と反復的精緻化を組み合わせることで、訓練効率を損なわせずにVAEにおけるアーモタイズドギャップを低減できるか？
• RQ3 本アプローチは、テキストのような逐次的データで学習されたVAEにおける事後分布の崩壊を防止できるか？
• RQ4 SA-VAEは、画像およびテキスト生成タスクにおいて、強力な自己回帰的モデルや標準VAEと比較してどの程度の性能を示すか？
• RQ5 本手法を用いることで、強力な自己回帰的生成モデルが意味のある潜在表現を有効に活用して効果的に学習可能か？

主な発見

• 提案された半アモルタイズドVAEは、標準的なテキストおよび画像データセットにおいて、対数尤度およびサンプル品質の観点で、強力な自己回帰的および変分的ベースラインを上回る性能を発揮する。
• 本手法は、テキストで学習されたVAEにおける事後分布の崩壊を効果的に防止し、LSTMベースの生成モデルが非自明な潜在表現を維持できるようにする。
• SVIを経由した逆誤差伝搬によるエンドツーエンド学習は、推論と生成のための別々の目的関数を用いる手法よりも優れた生成モデルを実現する。
• 本アプローチにより、性能劣化が通常のVAEで見られるのとは異なり、豊かで表現力の高い生成モデルの使用が可能になる。
• 実験の結果、エンドツーエンド最適化が適用されない場合に比べ、SA-VAEはVAEとSVIを直接組み合わせたベースラインと比較して、競争的または優れた性能を示すことが明らかになった。