[論文レビュー] Lagging Inference Networks and Posterior Collapse in Variational Autoencoders

Junxian He, Daniel Spokoyny+2 more|arXiv (Cornell University)|Jan 16, 2019

Generative Adversarial Networks and Image Synthesis参考文献 30被引用数 127

ひとこと要約

tldr: 本論文は、VAEにおける後方崩壊を、推論ネットワークの遅延に起因するトレーニングダイナミクスの問題として分析し、モデルを変更せずに崩壊を緩和する単純で積極的な推論更新戦略を提案する。これにより、保留データ上の尤度と学習速度が改善される。

ABSTRACT

The variational autoencoder (VAE) is a popular combination of deep latent variable model and accompanying variational learning technique. By using a neural inference network to approximate the model's posterior on latent variables, VAEs efficiently parameterize a lower bound on marginal data likelihood that can be optimized directly via gradient methods. In practice, however, VAE training often results in a degenerate local optimum known as "posterior collapse" where the model learns to ignore the latent variable and the approximate posterior mimics the prior. In this paper, we investigate posterior collapse from the perspective of training dynamics. We find that during the initial stages of training the inference network fails to approximate the model's true posterior, which is a moving target. As a result, the model is encouraged to ignore the latent encoding and posterior collapse occurs. Based on this observation, we propose an extremely simple modification to VAE training to reduce inference lag: depending on the model's current mutual information between latent variable and observation, we aggressively optimize the inference network before performing each model update. Despite introducing neither new model components nor significant complexity over basic VAE, our approach is able to avoid the problem of collapse that has plagued a large amount of previous work. Empirically, our approach outperforms strong autoregressive baselines on text and image benchmarks in terms of held-out likelihood, and is competitive with more complex techniques for avoiding collapse while being substantially faster.

研究の動機と目的

• 強力なデコーダを持つVAEにおいて、なぜ後方崩壊が生じるのかを動機づけ、理解する。
• 初期トレーニング期間における真の後方事後分布と近似後方分布の学習ダイナミクスを分析する。
• 推論遅延を低減するための、簡単で積極的な推論ネットワーク更新手順を提案する。
• 本手法がELBOの最適化を維持し、新たなモデルコンポーネントを必要としないことを示す。
• テキストおよび画像のベンチマークで、より速い学習と競争力のある密度推定性能を示す。

提案手法

• ELBOを、D_KL(q_phi(z|x)||p_theta(z|x))とモデル後方p_theta(z|x)の一致項を強調するように再定式化する。
• 低次元空間での後方平均軌跡の可視化を用いて、後方遅延を崩壊の要因として特定する。
• 目的関数を変更せず、thetaを更新する前にphiを複数回更新する内部ループとして、積極的な推論ネットワーク更新を導入する。
• qにおけるzとxの間の相互情報量I_qを用いて、積極的な更新をいつ停止するかを決定し、アモルタイズを維持する。
• 推論ネットワーク更新の頻度を大幅に増やしつつ、標準的なELBO最適化を維持する。
• 自己回帰ベースラインおよび既存の崩壊回避手法と比較し、訓練時間の効率を強調する。

実験結果

リサーチクエスチョン

• RQ1 強力なデコーダを用いた基本的なVAEトレーニングはなぜしばしば後方崩壊につながるのか？
• RQ2 モデルを変更せずにトレーニングダイナミクスを単純に変更するだけで、潜在変数の崩壊を防げるのか？
• RQ3 トレーニング初期に推論ネットワークを積極的に更新することが、ELBOの最適化を維持しつつ潜在コードの活用をモデルに助けるのか？
• RQ4 提案手法は、既存の崩壊回避技術と比較して、密度推定とトレーニング効率の点でどう性能を示すのか？

主な発見

• 後方崩壊は初期トレーニング中の推論ネットワークの遅延と関連しており、潜在変数を無視する方向へモデルを駆動する。
• 生成器の更新の前に推論ネットワークを積極的に更新することは遅延を減らし、潜在コードの利用へ軌道を移す。
• 本手法はELBO最適化を維持し、テキストおよび画像のベンチマークで保留データ上の尤度が競争力があるか、あるいは上回る。
• この手法は控えめな追加トレーニング時間を要する（標準VAEに対して2–3倍）、SA-VAEよりはるかに高速で崩壊を回避できる。
• 遅延が軽減されたら不要な内部ループ更新を効果的に防ぐ、相互情報量に基づく停止基準。
• Yahoo、Yelp、OMNIGLOTでの実験は、最先端手法と同等の性能を示しつつ、複雑さを大幅に低減している。