[論文レビュー] Prescribed Generative Adversarial Networks

Adji Bousso Dieng, Francisco J. R. Ruiz+2 more|arXiv (Cornell University)|Oct 9, 2019

Generative Adversarial Networks and Image Synthesis参考文献 67被引用数 47

ひとこと要約

PresGANs は生成器出力にノイズを加え、エントロピー正則化付き対立損失を用いてモード崩壊を防ぎ、GAN の予測的対数尤度の評価を実現可能にする。

ABSTRACT

Generative adversarial networks (GANs) are a powerful approach to unsupervised learning. They have achieved state-of-the-art performance in the image domain. However, GANs are limited in two ways. They often learn distributions with low support---a phenomenon known as mode collapse---and they do not guarantee the existence of a probability density, which makes evaluating generalization using predictive log-likelihood impossible. In this paper, we develop the prescribed GAN (PresGAN) to address these shortcomings. PresGANs add noise to the output of a density network and optimize an entropy-regularized adversarial loss. The added noise renders tractable approximations of the predictive log-likelihood and stabilizes the training procedure. The entropy regularizer encourages PresGANs to capture all the modes of the data distribution. Fitting PresGANs involves computing the intractable gradients of the entropy regularization term; PresGANs sidestep this intractability using unbiased stochastic estimates. We evaluate PresGANs on several datasets and found they mitigate mode collapse and generate samples with high perceptual quality. We further found that PresGANs reduce the gap in performance in terms of predictive log-likelihood between traditional GANs and variational autoencoders (VAEs).

研究の動機と目的

• GANs におけるモード崩壊に対処するため、エントロピー正則化を通じて高エントロピーな生成分布を促進する。
• 定義された生成密度を定義することにより、GAN の予測的 log-likelihood の推定を実行可能にする。
• PresGANs を効果的に適合させるため、エントロピー勾配の不偏推定を開発する。
• データセット全体でモードカバレージとサンプル品質の経験的改善を実証する。

提案手法

• p_theta(x) をガウス分布の z と x|z からなる無限混合として定義し、定義可能な密度を保証する。
• GAN 目的関数にエントロピー正則化項を導入する: L_PresGAN = L_GAN - lambda * H(p_theta(x)).
• ジェネレータ出力にノイズを加えるために x を sigma で摂動させ、p_theta(x) の存在を保証しエントロピーの計算を可能にする。
• z サンプルに対して再パラメータ化と Hamiltonian Monte Carlo (HMC) を用いてエントロピー勾配の不偏モンテカルロ推定を計算する。
• 再パラメータ化とモンテカルロ平均を通じて、エントロピー勾配項を含む θ の不偏勾配推定を定式化する。
• 標準的な GANs と同様に識別器 φ を更新しつつ、トレーニングを安定化させるために実データに一貫したデータノイズを適用する。

実験結果

リサーチクエスチョン

• RQ1 出力ノイズの付加によるエントロピー正則化は、GAN におけるモード崩壊を防ぐことができるのか？
• RQ2 暗黙的な生成器を定義された密度に置き換えることで、GAN の予測的 log-likelihood を実行可能に得ることは可能か？
• RQ3 PresGANs のエントロピー項の勾配を効果的に推定してモデルを訓練するにはどうすればよいか？
• RQ4 PresGANs は知覚品質を損なうことなくモードカバレージとサンプル多様性を改善するのか？

主な発見

• PresGANs はモード崩壊を緩和し、合成データと実データの実験で複数のデータモードを回復する。
• 生成サンプルは高い知覚品質を達成しつつデータ分布の多様な涵蓋を維持する。
• PresGANs を用いると GAN と VAE の予測的 log-likelihood のギャップが縮小され、一般化評価の改善を示す。
• エントロピー正則化された目的関数は重要サンプリングによる log-likelihood の実行可能な近似を可能にする。
• エントロピー項の不偏勾配推定は再パラメータ化と HMC ベースの事後サンプルを用いて取得できる。
• 実データのデータノイズ化と生成器の分散制御により訓練の安定性が向上する。”