[論文レビュー] Learning to Draw Samples: With Application to Amortized MLE for Generative Adversarial Learning

Dilin Wang, Qiang Liu|arXiv (Cornell University)|Nov 6, 2016

Generative Adversarial Networks and Image Synthesis参考文献 33被引用数 79

ひとこと要約

本稿では、複雑なターゲット分布からのサンプリングを可能にする、ニューラルサンプラーを学習するための新規手法を提案する。この手法は、スティーブン変分勾配降下法（Stein variational gradient descent）を用い、深層エネルギー・モデルにおけるアモアタイズド最大尤度推定（MLE）を実現する。繰り返しネットワークパラメータをスティーブン勾配に沿って調整することで、GAN よりも高い特徴情報保持度を達成し、画像生成品質が最先端の水準に達する。これは、模擬データ上で得られた分類精度の優位性によって示されている。

ABSTRACT

We propose a simple algorithm to train stochastic neural networks to draw samples from given target distributions for probabilistic inference. Our method is based on iteratively adjusting the neural network parameters so that the output changes along a Stein variational gradient that maximumly decreases the KL divergence with the target distribution. Our method works for any target distribution specified by their unnormalized density function, and can train any black-box architectures that are differentiable in terms of the parameters we want to adapt. As an application of our method, we propose an amortized MLE algorithm for training deep energy model, where a neural sampler is adaptively trained to approximate the likelihood function. Our method mimics an adversarial game between the deep energy model and the neural sampler, and obtains realistic-looking images competitive with the state-of-the-art results.

研究の動機と目的

• 提案分布の密度を明示的に計算する必要がない、任意のターゲット分布からのサンプリングを可能にする汎用的で微分可能なニューラルネットワーク学習手法の開発。
• 従来の変分推論や重要度サンプリングの限界を克服し、提案分布密度 $ q_\eta(x) $ の計算を不要とすることで、ブラックボックス的かつスケーラブルな推論を可能にする。
• ニューラルサンプラーが尤度関数を効率的に近似できるように学習することで、深層エネルギー・モデルのアモアタイズド MLE 学習を可能にする。
• 類似した分布に対して繰り返しサンプリングを要する状況（例：オンライン学習や MLE 最適化）において、確率的推論の効率性と一般化性能を向上させる。
• 敵対的訓練を模倣しながらも、スティーブン勾配を活用してサンプルの多様性と品質を向上させる、新しい GAN の変種、SteinGAN の開発。

提案手法

• 本手法は、ニューラルサンプラーの出力分布とターゲット分布 $ p(x) $ 間の KL 発散を最小化するために、スティーブン変分勾配（SVGD）に沿った繰り返しパラメータ更新を用いる。
• SVGD の更新方向には、サンプルの多様性を保証する反発項が含まれており、モード崩壊を防ぎ、ターゲット分布のカバーを促進する。
• 提案分布密度が計算不能であっても、再パラメトリゼーション・トリックと自動微分を用いて、バックプロパゲーションによるエンドツーエンドのネットワーク学習が可能である。
• 深層エネルギー・モデルのアモアタイズド MLE に応用するため、エネルギー・モデル下で尤度を最大化するようなリアルなサンプルを生成できるニューラルサンプラーを学習する。
• 生成器をクラスラベルで条件づけるための共同モデルを用い、高精度な条件付き画像生成を実現する。
• 訓練プロセスは、エネルギー・モデル（識別器）とニューラルサンプラー（生成器）のパラメータを交互に更新し、リアルと生成されたデータのエネルギーが一致するように適応的学習率を用いる。

実験結果

リサーチクエスチョン

• RQ1 提案分布密度の明示的計算を必要とせずに、任意のターゲット分布からのサンプリングが可能なニューラルネットワークを学習できるか？
• RQ2 スティーブン変分勾配降下法をニューラルネットワークによってアモアタイズド化することで、類似した分布に対して高速かつ繰り返し可能な推論が可能になるか？
• RQ3 提案されたアモアタイズド MLE 法が、下流タスクの性能で測定した場合、標準的な GAN よりも意味のあるデータ構造を捉えられるか？
• RQ4 本手法は、最先端の GAN と同等の高品質で多様性に富んだ画像を生成できるか、かつより優れた特徴表現を維持できるか？
• RQ5 本手法の性能は、模擬データにおけるインセプションスコアおよび分類精度の観点から、ベースライン手法と比較して優れているか？

主な発見

• CIFAR-10 から抽出した 50,000 枚の模擬画像を用いて ResNet を学習した際、SteinGAN は 63.81% のテスト精度を達成し、DCGAN（44.78%）および 500 枚の同一画像ベースライン（44.96%）を大きく上回り、優れた情報保持能力を示している。
• ImageNet プリトレイン済みインセプションモデルを用いた場合、SteinGAN はインセプションスコア 6.351 を達成し、DCGAN の 6.581 と同等の高品質な視覚的質を示している。
• CelebA および LSUN データセットにおいて、SteinGAN が生成した画像は、実画像と見分けがつかず、潜在空間における滑らかで制御可能な補間を示しており、分離可能で意味のある表現を示している。
• 本手法は MNIST および CIFAR-10 において高精細な画像を効果的に生成でき、定性的な結果は DCGAN と同等またはそれを上回っている。
• スティーブン勾配降下法を用いて学習されたニューラルサンプラーの利用により、明示的な尤度計算なしに深層エネルギー・モデルの効果的アモアタイズド MLE 学習が可能となり、競争力のある結果が得られた。
• アブレーションスタディの結果、標準的な GAN よりも本手法が訓練データ内の構造的情報をより多く捉えていることが、下流タスクにおける高い分類精度によって裏付けられている。