[論文レビュー] Bayesian GAN

Yunus Saatchi, Andrew Gordon Wilson|arXiv (Cornell University)|May 26, 2017

Generative Adversarial Networks and Image Synthesis参考文献 8被引用数 25

ひとこと要約

この論文では、生成モデルと識別モデルの重みを周辺化するために確率的勾配ハミルトニアンモンテカルロを適用するベイジアンGANというフレームワークを提案する。パラメータ上の表現力のある事後分布を探索することで、不確実性を考慮した学習が可能となり、モード崩壊を回避し、多様で解釈可能なサンプルを生成する。特徴マッチングやミニバッチ特徴量の差分といった技術に依存せずに、SVHN、CelebA、CIFAR-10における半教師あり学習で最先端の性能を達成する。

ABSTRACT

Generative adversarial networks (GANs) can implicitly learn rich distributions over images, audio, and data which are hard to model with an explicit likelihood. We present a practical Bayesian formulation for unsupervised and semi-supervised learning with GANs. Within this framework, we use stochastic gradient Hamiltonian Monte Carlo to marginalize the weights of the generator and discriminator networks. The resulting approach is straightforward and obtains good performance without any standard interventions such as feature matching, or mini-batch discrimination. By exploring an expressive posterior over the parameters of the generator, the Bayesian GAN avoids mode-collapse, produces interpretable and diverse candidate samples, and provides state-of-the-art quantitative results for semi-supervised learning on benchmarks including SVHN, CelebA, and CIFAR-10, outperforming DCGAN, Wasserstein GANs, and DCGAN ensembles.

研究の動機と目的

• 教師なしおよび半教師あり設定における不確実性を考慮した学習を可能にするGANのベイジアン定式化の開発。
• 特徴マッチングやミニバッチ特徴量の差分といったヒューリスティックな手法に依存しないGAN学習の実現。
• 生成モデルと識別モデルのパラメータ上に豊かな事後分布を探索することで、GANにおけるモード崩壊の解消。
• ネットワーク重みの事後周辺化を通じて、サンプルの多様性と解釈可能性の向上。
• アンサンブル手法に依存せずに、半教師あり学習ベンチマークで最先端の性能を達成すること。

提案手法

• 本手法は、生成モデルおよび識別モデルの重みに関する事後分布推論に、確率的勾配ハミルトニアンモンテカルロ（SGHMC）を用いる。
• GANの学習をベイジアン推論問題として定式化し、ネットワークパラメータの不確実性を明示的にモデル化する。
• 重みの完全な事後分布を周辺化することで、頑健で多様なサンプル生成が可能になる。
• 特徴マッチングやミニバッチ特徴量の差分といった補助的手法を必要としない。
• 表現力のある事後分布を活用することで、学習の安定化とモード崩壊の低減が図られる。
• アーキテクチャの変更はベイジアン重み推論に限られ、エンドツーエンドで実装される。

実験結果

リサーチクエスチョン

• RQ1 生成モデルと識別モデルの重みに対するベイジアン推論は、GANの学習安定性を向上させ、モード崩壊を低減できるか？
• RQ2 ネットワーク重みの事後周辺化は、GANにおけるより多様で解釈可能なサンプルの生成に寄与するか？
• RQ3 特徴マッチングやミニバッチ特徴量の差分に依存せずに、ベイジアンGANが半教師あり学習で最先端の性能を達成できるか？
• RQ4 パラメータ上の表現力のある事後分布は、GANにおける一般化性能と不確実性の定量化にどのように影響するか？
• RQ5 提案されたベイジアンフレームワークは、DCGAN、Wasserstein GAN、DCGANアンサンブルと比較して、標準ベンチマークで同等または優れた性能を示せるか？

主な発見

• ベイジアンGANフレームワークは、半教師あり学習においてSVHN、CelebA、CIFAR-10で最先端の定量的結果を達成した。
• 評価されたすべてのベンチマークで、DCGAN、Wasserstein GAN、DCGANアンサンブルを上回った。
• ネットワーク重み上の豊かな事後分布を探索することで、モード崩壊を効果的に回避した。
• 特徴マッチングやミニバッチ特徴量の差分を必要とせず、多様で解釈可能なサンプルを生成した。
• 確率的勾配ハミルトニアンモンテカルロにより、最小限のアーキテクチャ変更で効果的な事後分布近似が可能になった。
• ベイジアン重み周辺化を通じて、一般化性能と不確実性の定量化の両方が向上した。