[論文レビュー] Towards Deeper Understanding of Variational Autoencoding Models

Shengjia Zhao, Jiaming Song+1 more|arXiv (Cornell University)|Feb 28, 2017

Generative Adversarial Networks and Image Synthesis参考文献 15被引用数 129

ひとこと要約

この論文は ELBO を超える一般的な VAE 最適化フレームワークを提案し、ぼやけたサンプルや潜在コードが情報量を欠く問題などを説明、順次 VAE と情報志向の学習を提案してサンプルの鮮明さと潜在利用を改善する。

ABSTRACT

We propose a new family of optimization criteria for variational auto-encoding models, generalizing the standard evidence lower bound. We provide conditions under which they recover the data distribution and learn latent features, and formally show that common issues such as blurry samples and uninformative latent features arise when these conditions are not met. Based on these new insights, we propose a new sequential VAE model that can generate sharp samples on the LSUN image dataset based on pixel-wise reconstruction loss, and propose an optimization criterion that encourages unsupervised learning of informative latent features.

研究の動機と目的

• 標準の ELBO を超える variational autoencoding モデルの新しい一般的な最適化基準を提供する。
• 複雑なデータに対して VAE がぼやけたサンプルと情報量の乏しい潜在特徴に苦しむ理由を説明する。
• 順次 VAE や情報に基づく正則化を含む、これらの問題を緩和する手法を導入する。
• より表現力のある推論/後方分布と適切な正則化が、シャープなサンプルと意味のある潜在特徴を生み出せることを示す。

提案手法

• f_theta が潜在コードを分布パラメータへ写像する一般的な p_theta(x|z) を導出し、必ずしも厳密な ELBO ではない損失 L を最適化する。
• データ全体に対して単一の p が適合するという自明な解を避けるため、鑑別的目的関数 L = E_q(z)[E_q(x|z)[log p_theta(x|z)]] を提案する。
• 十分な容量があれば、モデルは q_phi(z|x) を学習し、P_{f_theta(z)} が各 z に対して q(x|z) を近似できることを示す。
• 正則化された VAE L_VAE = E_{q_phi(x,z)}[log p_theta(x|z)] - R(q_phi) を導入し、R を ELBO の項に対応させるときの関係を示す。
• 順次 VAE と浸透型トレーニングに触発された増強を導入して、漸次に後方分布 q(x|z) を単純化し、サンプルをよりシャープに生成する。
• 正則化なしの VAE は情報量の多い潜在特徴を保持し得るのに対し、ELBO はそれらを抑制する傾向があること、複雑な後方分布は順次的増強によってより良く扱えることを示す。

実験結果

リサーチクエスチョン

• RQ1 適切な条件の下で、一般的な VAE 最適化フレームワークは従来の ELBO に依存せずデータ分布を回復できるのか。
• RQ2 なぜ VAE はぼやけたサンプルを生み出し、潜在コードがしばしば無視されるのか、これらの問題を緩和する訓練設計はどうあるべきか。
• RQ3 より表現力のある推論/後方分布と順次的増強をどのように活用して、LSUN のような複雑なデータセットでシャープなサンプルを得られるのか。
• RQ4 正則化付きと非正則化の訓練が潜在コードの利用とサンプリングの質にどのように影響するのか、条件は何か。
• RQ5 P（p(x|z の族）の選択）が後方 q(x|z) と結果として得られるサンプルの忠実度にどのような役割を果たすのか。

主な発見

• 一般化された VAE フレームワークは、z によって q(x|z) を変化させる鑑別的目的を用いてデータ分布を学習でき、より豊かな後方を利用できる。
• 後方 q(x|z) が単純な P に対して過度に複雑だとぼやけたサンプルが生じる。順次 VAE や浸透風の増強を用いると後方分散を減らし、よりシャープなサンプルを得られる。
• ELBO ベースの訓練は潜在情報をゼロに向かわせることがある一方、非正則化訓練は x と z の相互情報を保持し、情報量のある潜在コードを維持する。
• LSUN 上で 2-ノルム ピクセル損失を用いた漸進的に豊かな推論と再構成ステップを備えた順次 VAE はサンプルのシャープさを改善する。
• P が複雑（例: PixelCNN）の場合、ELBO は依然として潜在コードの未使用につながることがある；厳密な正則化を排除することで潜在情報を維持しつつ競争力のあるサンプル品質を達成できる。
• このフレームワークは、一般的な VAE の病理を診断・緩和するための体系的な方法を提供し、情報量豊かな潜在特徴を維持する訓練スキームを設計する。