[論文レビュー] Tutorial: Deriving the Standard Variational Autoencoder (VAE) Loss Function

Stephen G. Odaibo|arXiv (Cornell University)|Jul 21, 2019

Generative Adversarial Networks and Image Synthesis参考文献 5被引用数 47

ひとこと要約

本論文はVAE損失の逐次的な導出を提示し、変分下界（ELBO）とガウス潜在変数の閉形式解を導出し、ベイズの定理とKLダイバージェンスの基礎を含む。

ABSTRACT

In Bayesian machine learning, the posterior distribution is typically computationally intractable, hence variational inference is often required. In this approach, an evidence lower bound on the log likelihood of data is maximized during training. Variational Autoencoders (VAE) are one important example where variational inference is utilized. In this tutorial, we derive the variational lower bound loss function of the standard variational autoencoder. We do so in the instance of a gaussian latent prior and gaussian approximate posterior, under which assumptions the Kullback-Leibler term in the variational lower bound has a closed form solution. We derive essentially everything we use along the way; everything from Bayes' theorem to the Kullback-Leibler divergence.

研究の動機と目的

• ベイズ学習において変分推論がなぜ用いられるのか、そして後部分布の扱いの困難さがVAEを動機づける理由を示す。
• Bayesの定理とKLダイバージェンスの特性を適用してVAEの変分下界（ELBO）を導出する。
• ガウスの潜在姿を仮定した場合、KL項が閉形式となり標準的なVAE損失へとつながる。
• 最終的な損失関数の形と再構成項および正則化項との関係を提供する。

提案手法

• 潜在変数モデルのBayesの定理とELBOを導出する。
• ELBOをKLダイバージェンス項と再構成項の和として表現する。
• p(z)およびq_theta(z|x)のガウス形を仮定して閉形式のKL項を得る。
• ガウス仮定の下で-D_KL(q_theta(z|x)||p(z))の閉形式を計算し、扱いやすい式に簡略化する。
• 最終的な目的をELBOの最大化として定式化し、学習のためのマイナス化により標準的なVAE損失へと変換する。

実験結果

リサーチクエスチョン

• RQ1 変分推論をどのように用いて、VAEにおける後部分布が計算困難な場合に生成モデルを学習できるか。
• RQ2 潜在変数がガウスである場合のKL項の閉形式は何か、そしてこれがVAE損失をどう形作るか。
• RQ3 Bayesの定理とKLダイバージェンスをどのように用いてVAEの最適化に適したELBOを導出するか。
• RQ4 VAEのトレーニング中に実務家が最小化する最終的な損失式は何か。

主な発見

• ELBOはKL正則化項と再構成項からなる計算可能な目的を提供し、対数尤度を上界する。
• ガウスの事前分布と事後分布の下でKL項は閉形式の表現を持ち、閉形式のVAE損失を可能にする。
• 損失はKLに基づく正則化項とデコーダの尤度から導かれる再構成損失を組み合わせたものになる。
• ELBOを最大化する（あるいは負のELBOを最小化する）ことは、エンコーダとデコーダのパラメータのトレーニング目的を生み出す。
• 最終的に示された損失は潜在次元の和に分解され、確率的最適化のための再パラメータ化によるサンプリング要素を含む。