[論文レビュー] Tutorial on Variational Autoencoders

Carl Doersch|arXiv (Cornell University)|Jun 19, 2016

Generative Adversarial Networks and Image Synthesis参考文献 25被引用数 1,372

ひとこと要約

このチュートリアルは変分オートエンコーダー（VAE）を紹介し、変分ベイズによる目的関数の導出、訓練のための再パラメータ化トリックの説明、MNISTのデモを伴う一対多の写像のための条件付きVAEへの拡張を行います。

ABSTRACT

In just three years, Variational Autoencoders (VAEs) have emerged as one of the most popular approaches to unsupervised learning of complicated distributions. VAEs are appealing because they are built on top of standard function approximators (neural networks), and can be trained with stochastic gradient descent. VAEs have already shown promise in generating many kinds of complicated data, including handwritten digits, faces, house numbers, CIFAR images, physical models of scenes, segmentation, and predicting the future from static images. This tutorial introduces the intuitions behind VAEs, explains the mathematics behind them, and describes some empirical behavior. No prior knowledge of variational Bayesian methods is assumed.

研究の動機と目的

• 生成モデルと複雑な分布の教師なし学習を動機づける。
• VAEが潜在変数を用いてデータ構造を手作りの特徴なしで捉える方法を説明する。
• 再構成と正則化を組み合わせた扱いやすい訓練目的を提示する。
• 勾配ベースの最適化を可能にする再パラメータ化トリックを導入する。

提案手法

• 潜在変数zの積分としてP(X)を定義し、ガウス尤度を用いたP(X|z)を導入する。
• 不可能に近いP(z|X)を近似するQ(z|X)を導入し、エビデンス下界（ELBO）を導出する。
• ELBOが再構成項とKL発散正則化項に分解されることを示す。
• 再パラメータ化トリックを用いて確率サンプリングを通じて誤差逆伝搬を可能にする：z = μ(X) + Σ^{1/2}(X) ε where ε ~ N(0,I)。
• 対角Σを持つ正規分布Q(z|X)を採用し、KL項を閉形式で計算する。
• 条件付きVAE（CVAE）へ拡張し、生成過程を入力Xで条件づけてP(Y|X)をモデル化する。
• テスト時にはz ~ N(0,I)をサンプリングしてエンコーダを使用せずデコーディングを行うデモを示す。

実験結果

リサーチクエスチョン

• RQ1 潜在変数を持つ生成モデルを明示的な後部分布計算を必要とせずにどのように訓練できるか？
• RQ2 データ尤度を近似する扱いやすい目的関数をどのように計算・最適化するか？
• RQ3 再パラメータ化トリックはVAEにおける勾配ベース学習をどのように可能にするか？
• RQ4 CVAEとして条件付き・一対多の写像を扱うようVAEをどのように拡張できるか？

主な発見

• VAEはデータ尤度の扱いやすい下界を最大化し、再構成品質と潜在正則化のバランスを取る。
• 再パラメータ化トリックは確率的潜在変数を通じた逆伝搬を可能にし、SGDによる訓練を実現する。
• P(z)への閉形式KLを持つ正規分布近似事後Q(z|X)により計算可能な目的関数を得る。
• このフレームワークは最小説明長原理や情報理論的解釈と自然に結びつく。
• CVAEは条件付き生成へ拡張し、入力Xに対して多様な出力を可能にする。
• テスト時にz ~ N(0,I)をサンプリングしてデコーダを実行することで、エンコーダを使わずに新しいデータを生成できる。