[論文レビュー] Bayesian Conditional Generative Adverserial Networks

M. Ehsan Abbasnejad, Qinfeng Shi+3 more|arXiv (Cornell University)|Jun 17, 2017

Generative Adversarial Networks and Image Synthesis参考文献 16被引用数 6

ひとこと要約

本稿では、ドロップアウトを用いて重みの不確実性をモデル化することでベイジアン推論を実現する、決定的生成器を確率的関数に置き換えた新規なGANフレームワーク、ベイジアン条件付き生成対抗ネットワーク（BC-GANs）を提案する。モンテカルロサンプリングにより生成器および識別器のパラメータを周辺化することで、BC-GANsは訓練の安定性を向上させ、過学習を低減し、クラスあたり10例のラベル付きデータのみを用いてCIFAR-10における半教師あり学習で最先端の性能を達成する。

ABSTRACT

Traditional GANs use a deterministic generator function (typically a neural network) to transform a random noise input $z$ to a sample $\mathbf{x}$ that the discriminator seeks to distinguish. We propose a new GAN called Bayesian Conditional Generative Adversarial Networks (BC-GANs) that use a random generator function to transform a deterministic input $y'$ to a sample $\mathbf{x}$. Our BC-GANs extend traditional GANs to a Bayesian framework, and naturally handle unsupervised learning, supervised learning, and semi-supervised learning problems. Experiments show that the proposed BC-GANs outperforms the state-of-the-arts.

研究の動機と目的

• 従来のGANにおける不安定性および過学習の問題に、生成器および識別器の両方に対してベイジアンフレームワークを導入することで対処すること。
• モデルの不確実性を用いて、単一の条件付きGANアーキテクチャ内で教師あり、教師なし、半教師あり学習を統合すること。
• 入力ノイズを決定的条件付き入力に置き換え、生成の多様性の源としてパラメータの不確実性を用いること。
• モンテカルロサンプリングによるモデルパラメータの周辺化により、一般化性能およびロバストネスを向上させること。
• 生成対抗ネットワークの目的関数に最大平均差分（MMD）を正則化項として組み込むことで性能を向上させること。

提案手法

• GANの決定的生成器を、決定的入力 $ y' $ を生成サンプル $ \mathbf{x} $ にマップする確率的関数 $ f_G $ に置き換える。ここで $ f_G $ はランダムな重み $ \boldsymbol{\omega} $ でパrameter化される。
• 生成器および識別器を、事前分布 $ p(\boldsymbol{\omega}) $ および $ p(\boldsymbol{\theta}) $ を持つ確率的関数としてモデル化し、これらのパラメータのモンテカルロサンプリングによりベイジアン推論を実行する。
• 生成器および識別器ネットワークにおける不確実性を誘導するために、ベルヌーイ分布およびガウス分布のドロップアウトを近似的なベイジアン推論手法として用いる。
• 生成器および識別器関数を、それらのパラメータの周辺化により統合することで、過学習を低減するベイジアン目的関数を導出する。
• 生成対抗ネットワークの損失関数に最大平均差分（MMD）を正則化項として組み込み、実データと生成データの分布の一致を改善する。
• 不確実性が生成関数空間における多様性を駆動するミニマックスフレームワークにおいて、交互最適化を用いてモデルを学習する。

実験結果

リサーチクエスチョン

• RQ1 入力ノイズを決定的条件付き入力に置き換え、生成器の不確実性をモデル化することで、GANの安定性および性能が向上するか？
• RQ2 生成器および識別器のパラメータに対するベイジアン統合は、GANにおける一般化性能および過学習にどのように影響するか？
• RQ3 BC-GANsは、単一の条件付きGANフレームワーク内で教師あり、教師なし、半教師あり学習を統合できるか？
• RQ4 ベイジアン推論と併せてMMDを正則化項として用いることで、さらにサンプル品質および分布一致が向上するか？
• RQ5 10例のラベル付きデータ（クラスあたり）という低データ環境下で、BC-GANsの性能は最先端手法と比較してどうなるか？

主な発見

• BC-GANsは、50,000枚の全訓練ラベルを用いたCIFAR-10で、テスト誤差 $ 7.9 \pm 0.3\% $ を達成し、先行研究の最先端手法を上回る。
• クラスあたり10例のラベル付きデータでのみ使用した場合、BC-GANsはMAP-MCサンプリングを用いてテスト誤差 $ 20.9 \pm 1.05\% $ を達成し、強力な低ショット一般化性能を示す。
• ラングヴィンダイナミクスの変種では、1,000枚のラベル付きデータを用いて $ 25.8 \pm 1.45\% $ の誤差を達成し、高い性能を示すが、一部のクラスでモード崩壊の兆候が見られた。
• 視覚的サンプルは、一貫した意味的特徴を有する多様なクラス条件付き生成物を示しており、効果的な分離と多様性が裏付けられている。
• ベイジアンフレームワークにより、時間経過に伴い分散が低減し、訓練が進むにつれて識別器がより自信を持ち、安定性が向上する。
• GAN目的関数にMMDを統合することで、標準GANと比較して分布一致およびサンプル品質が向上した。