[論文レビュー] Ladder Variational Autoencoders

Casper Kaae Sønderby, Tapani Raiko+3 more|arXiv (Cornell University)|Feb 6, 2016

Generative Adversarial Networks and Image Synthesis参考文献 19被引用数 216

ひとこと要約

本稿では、上位からのデータ依存の補正を推論プロセスに統合することで変分推論を改善する深層生成モデル、ラダーバリエーショナルオートエンコーダー（LVAE）を提案する。推論モデルと生成モデルの間でパラメータを共有することで、尤度の下界を著しくタイトにし、MNIST、OMNIGLOT、NORBにおいて最先端の尤度性能を達成する。また、標準的なVAEと比較してより深い階層的表現を学習する。

ABSTRACT

Variational Autoencoders are powerful models for unsupervised learning. However deep models with several layers of dependent stochastic variables are difficult to train which limits the improvements obtained using these highly expressive models. We propose a new inference model, the Ladder Variational Autoencoder, that recursively corrects the generative distribution by a data dependent approximate likelihood in a process resembling the recently proposed Ladder Network. We show that this model provides state of the art predictive log-likelihood and tighter log-likelihood lower bound compared to the purely bottom-up inference in layered Variational Autoencoders and other generative models. We provide a detailed analysis of the learned hierarchical latent representation and show that our new inference model is qualitatively different and utilizes a deeper more distributed hierarchy of latent variables. Finally, we observe that batch normalization and deterministic warm-up (gradually turning on the KL-term) are crucial for training variational models with many stochastic layers.

研究の動機と目的

• 複数の確率的層を持つ深層変分オートエンコーダーの訓練と性能を向上させること。
• VAEにおける完全に下位からの推論の限界を解消すること。これは、深層階層的構造を十分に活用できないためである。
• 上位からのフィードバックを伴う構造的推論が、生成モデリングおよび表現学習をどのように向上させるかを調査すること。
• バッチ正規化と決定論的ウォームアップが、深層確率的モデルの訓練に与える影響を評価すること。

提案手法

• データ依存の尤度推定値を用いて、生成分布に対する上位からの精度重み付き補正を用いる、新しい推論モデル、ラダーバリエーショナルオートエンコーダー（LVAE）を提案する。
• 各層の事後分布を、下位からの尤度と上位からの事前分布を組み合わせることで計算する再帰的推論メカニズムを導入し、生成モデルとパラメータを共有する。
• ガウス的潜在変数を介した確率的バックプロパゲーションのための再パラメータ化トリックを採用し、可能であればKLダイバージェンスを解析的に計算する。
• 各潜在層が次の層に依存する階層的事前分布構造を採用することで、深く構造的な表現を可能にする。
• 深層確率的モデルの訓練を安定化させるために、バッチ正規化と決定論的ウォームアップスケジュールを適用する。
• 尤度推定をタイトにするために、重要度重み付けを施した変分下界を採用する。

実験結果

リサーチクエスチョン

• RQ1 上位からのフィードバックを伴う構造的推論モデルは、深層VAEの生成性能を向上させることができるか？
• RQ2 LVAEの推論メカニズムは、完全に下位からのVAE推論と比較して、尤度と表現品質の点でどのように異なるか？
• RQ3 バッチ正規化とウォームアップの影響は、深層VAEおよびLVAEの訓練にどのような影響を与えるか？
• RQ4 LVAEは、標準的なVAEと比較して、より深い階層的表現とより分散された表現を学習するか？
• RQ5 正規化流れや補助ネットワークといった複雑な推論アーキテクチャを用いずに、LVAEは最先端の性能を達成できるか？

主な発見

• MNISTでは、LVAEがテストセットの尤度を−85.81に達成し、標準的なVAEを著しく上回り、IWAE や正規化流れを用いたVAEといったより複雑なモデルと同等またはそれを上回る性能を示した。
• OMNIGLOTでは、LVAEがテスト尤度を−102.11に達成し、50個の重要度サンプルを用いたより複雑なモデルが達成した前回の最高記録である−103.38を上回った。
• LVAEはより深い階層的かつ分散された潜在表現を学習する：全5層が活性化されており、KLダイバージェンスが各層に均等に分布している。これに対して、VAEでは上位層が収縮する。
• バッチ正規化と決定論的ウォームアップは、深層確率的モデルの訓練に不可欠であり、ウォームアップによりより多くのユニットが活性化され、早期収縮を防ぐ。
• 主成分分析（PCA）の可視化では、LVAEは上位の潜在層でさえも構造的かつクラス判別可能な表現を維持しているが、VAEでは上位層が事前分布に収縮している。
• LVAEは、標準的なVAEよりも真の尤度に対するタイトな下界を提供しており、真の事後分布のより良い近似であることを示している。