[論文レビュー] Improving Sampling from Generative Autoencoders with Markov Chains

Antonia Creswell, Kai Arulkumaran+1 more|arXiv (Cornell University)|Oct 28, 2016

Generative Adversarial Networks and Image Synthesis参考文献 17被引用数 13

ひとこと要約

本稿では、生成的オートエノードラに、学習済みの潜在分布 $\hat{P}(Z)$ からのサンプリングを可能にするマルコフ連鎖モンテカルロ（MCMC）サンプリング手法を提案する。この $\hat{P}(Z)$ は、想定された事前分布 $P(Z)$ から逸脱する可能性がある。反復的な復号と符号化を経て、MCMCプロセスは初期サンプルが不十分な場合に、特に推論モデルの潜在分布が事前分布から大きく逸脱する状況で、品質を是正する。これにより、アーキテクチャの変更なしに、より現実的な生成が可能になる。

ABSTRACT

We focus on generative autoencoders, such as variational or adversarial autoencoders, which jointly learn a generative model alongside an inference model. Generative autoencoders are those which are trained to softly enforce a prior on the latent distribution learned by the inference model. We call the distribution to which the inference model maps observed samples, the learned latent distribution, which may not be consistent with the prior. We formulate a Markov chain Monte Carlo (MCMC) sampling process, equivalent to iteratively decoding and encoding, which allows us to sample from the learned latent distribution. Since, the generative model learns to map from the learned latent distribution, rather than the prior, we may use MCMC to improve the quality of samples drawn from the generative model, especially when the learned latent distribution is far from the prior. Using MCMC sampling, we are able to reveal previously unseen differences between generative autoencoders trained either with or without a denoising criterion.

研究の動機と目的

• 生成的オートエノードラが、サンプル品質に悪影響を及げる可能性のある、意図された事前分布 $P(Z)$ から逸脱した潜在分布 $\hat{P}(Z)$ を学習する問題に対処すること。
• 事前分布 $P(Z)$ ではなく、学習済みの分布 $\hat{P}(Z)$ からのサンプリングを可能にする手法を開発することにより、データ生成分布 $P(X)$ とより整合性を保つこと。
• VAE や AAE およびそのノイズ除去変種のようなモデルにおけるサンプル品質を向上させること、特に事前分布が緩やかにしか強制されていない状況において。
• Denoising 条件を用いて学習したモデルとそうでないモデルの間の差異を、MCMC サンプリングによって明らかにすること。

提案手法

• 復号と符号化を交互に繰り返すMCMCプロセスを定式化し、各ステップで $P_{\theta}(X|Z)$ と $Q_{\phi}(Z|X)$ からのサンプリングを行う。
• エンコーダーとデコーダー関数をMCMC連鎖における確率的遷移として用い、定常分布が学習済み潜在分布 $\hat{P}(Z)$ となるように保証する。
• 初期化は $\mathbf{z}_0 \sim P(Z)$ から行い、その後 $\mathbf{z}_{i+1} \sim Q_{\phi}(Z|X = d(\mathbf{z}_i; \theta))$ を繰り返し適用して潜在変数を精錬する。
• MCMC中は訓練モードでバッチ正規化を適用し、初期入力が不適切であっても更新を安定化させ、補償する。
• MCMCで得られた $\mathbf{z}_i$ を用いて $\mathbf{x} \sim P_{\theta}(X|Z = \mathbf{z}_i)$ を生成することで、初期サンプルよりも現実性が向上する。
• VAE、DVAE、AAE、DAAE に本手法を適用し、MCMCステップの前後でサンプルを比較する。

実験結果

リサーチクエスチョン

• RQ1 学習済み潜在分布 $\hat{P}(Z)$ からのMCMCサンプリングは、事前分布 $P(Z)$ からのサンプリングに比べ、より現実的なサンプルを生成するか？
• RQ2 $\hat{P}(Z)$ が $P(Z)$ から著しく逸脱するモデルにおいて、MCMCサンプリングはサンプル品質にどのように影響するか？
• RQ3 生成的オートエノードラの潜在空間内挿値によって生じるアーチファクトは、MCMCサンプリングによって是正可能か？
• RQ4 MCMCプロセスは、Denoising ありとなしの生成的オートエノードラの差異をどのように明らかにするか？
• RQ5 後方分布の近似が不十分な敵対的オートエノードラにおいて、MCMCサンプリングはどの程度サンプル品質を向上させるか？

主な発見

• VAE や DVAE において、MCMCサンプリングは、初期サンプルがノイズが多く不自然な場合に顕著にサンプル品質を向上させる。
• 10ステップのMCMCを経過すると、CelebA実験において、VAE や DVAE のサンプルがより現実的になり、ノイズの多い背景から顔の特徴が明確に浮き出るようになる。
• AAE や DAAE では、$\hat{P}(Z)$ が $P(Z)$ から著しく逸脱しているため、MCMCによる改善が顕著に現れる。これは、モデルの事前分布との整合性が低いことに起因する。
• DAAE では、MCMCサンプリング後にノイズ除去特性がより顕著に現れ、初期のノイズの多い潜在コードに起因するアーチファクトが是正される。
• テスト画像間の球面内挿値によって生じるアーチファクトは、MCMCサンプリングによって効果的に是正され、視覚的な一貫性が向上する。
• MCMC手法は高度な後方分布モデリングとは直交するため、アーキテクチャの変更なしに既存モデルに適用可能であり、生成性能を向上させることができる。