[論文レビュー] How to Train Deep Variational Autoencoders and Probabilistic Ladder Networks

Casper Kaae Sønderby, Tapani Raiko+3 more|arXiv (Cornell University)|Feb 6, 2016

Generative Adversarial Networks and Image Synthesis参考文献 18被引用数 79

ひとこと要約

本論文は、ラダー構造の推論ネットワーク、ウォームアップスケジュール、バッチ正規化の3つの訓練改善策を導入し、最大5層の確率的隠れ変数を有する深層変分オートエンコーダーの訓練を可能にした。これらの進歩により、ベンチマークデータセット上で最先端の対数尤度性能を達成し、従来の浅いモデルをはるかに凌駕する生成モデルの能力が向上した。

ABSTRACT

Variational autoencoders are a powerful framework for unsupervised learning. However, previous work has been restricted to shallow models with one or two layers of fully factorized stochastic latent variables, limiting the flexibility of the latent representation. We propose three advances in training algorithms of variational autoencoders, for the first time allowing to train deep models of up to five stochastic layers, (1) using a structure similar to the Ladder network as the inference model, (2) warm-up period to support stochastic units staying active in early training, and (3) use of batch normalization. Using these improvements we show state-of-the-art log-likelihood results for generative modeling on several benchmark datasets.

研究の動機と目的

• 1層または2層の確率的潜在変数しか持たない浅い変分オートエンコーダーの制限を克服すること。
• 表現の柔軟性を向上させるために、最大5層の確率的層を有する深層生成モデルの訓練を可能にすること。
• 改善された推論および最適化戦略を通じて、深層確率的アーキテクチャにおける訓練の不安定性と収束不良を是正すること。
• 標準ベンチマーク上での対数尤度測定による優れた生成モデル性能を達成すること。

提案手法

• 下流から上流への接続に加え、上流から下流への接続を持つ、階層的で深い推論を可能にするラダーネットワーク構造を推論モデルに採用する。
• 訓練の初期段階でKL正則化項の重みを段階的に増加させるウォームアップ期間を導入し、確率的ユニットが初期段階でも活性化されたまま保たれるようにする。
• 推論および生成ネットワークの隠れユニットにバッチ正規化を適用し、訓練の安定性と最適化の効率を向上させる。
• 確率的潜在変数を有する完全に因数分解可能な変分後確率分布を採用するが、構造化された推論アーキテクチャによりその表現力の向上を図る。
• 再パrameter化勾配を用いた確率的勾配降下法により、確率的ユニットを効率的にバックプロパゲートするためのエンドツーエンドの訓練を実施する。
• 構造化された推論、ウォームアップ、バッチ正規化の組み合わせにより、通常の最適化手法では失敗する深層アーキテクチャの安定した訓練を可能にする。

実験結果

リサーチクエスチョン

• RQ1 標準的な最適化手法を用いて、5層の確率的層を有する深層変分オートエンコーダーを実際に訓練できるか？
• RQ2 ラダー構造の推論ネットワークは、標準的な因数分解型推論と比較して、深層VAEの訓練の質と安定性をどのように向上させるか？
• RQ3 ウォームアップスケジュールは、深層VAEにおける確率的ユニットの学習ダイナミクスをどの程度改善するか？
• RQ4 バッチ正規化は、深層確率的オートエンコーダーにおいて、訓練の安定性と性能を顕著に向上させるか？

主な発見

• 提案された訓練アルゴリズムにより、最大5層の確率的隠れ変数を有する深層変分オートエンコーダーの訓練に成功した。これは、従来1〜2層に制限されていた研究を著しく超えた前進である。
• ラダーベースの推論、ウォームアップ、バッチ正規化の組み合わせにより、元々収束しなかった深層モデルの安定した訓練が可能になった。
• 複数のベンチマークデータセットで最先端の対数尤度結果を達成し、優れた生成モデル性能を示した。
• ウォームアップスケジュールにより、後期の潜在変数の崩壊（posterior collapse）が効果的に防止され、初期段階での確率的ユニットの活性化が維持された。
• バッチ正規化により、特に複数の確率的層を有するより深いアーキテクチャにおいて、訓練の安定性と収束速度が向上した。
• ラダーベースの推論構造により、近似後確率分布の表現力が向上し、複雑なデータ分布のモデリングがより良くなった。