[論文レビュー] Generative Adversarial Networks

Ian Goodfellow, Jean Pouget-Abadie+6 more|arXiv (Cornell University)|Jun 10, 2014

Generative Adversarial Networks and Image Synthesis被引用数 4,518

ひとこと要約

この論文は Generative Adversarial Nets フレームワークを導入し、ミニマックスゲームで生成器と識別器を訓練してデータ分布をマルコフ連鎖なしでモデル化し、いくつかのデータセットで定性的・定量的な結果を示す。

ABSTRACT

We propose a new framework for estimating generative models via an adversarial process, in which we simultaneously train two models: a generative model G that captures the data distribution, and a discriminative model D that estimates the probability that a sample came from the training data rather than G. The training procedure for G is to maximize the probability of D making a mistake. This framework corresponds to a minimax two-player game. In the space of arbitrary functions G and D, a unique solution exists, with G recovering the training data distribution and D equal to 1/2 everywhere. In the case where G and D are defined by multilayer perceptrons, the entire system can be trained with backpropagation. There is no need for any Markov chains or unrolled approximate inference networks during either training or generation of samples. Experiments demonstrate the potential of the framework through qualitative and quantitative evaluation of the generated samples.

研究の動機と目的

• 難解な尤度とマルコフ連鎖を回避する新しい生成モデルアプローチを動機づける。
• 識別器を欺いて実データと見分けがつかないデータを生成することを学ぶ生成器を含む2人対戦ゲームを提案する。
• 非パラメトリック極限で生成器が真のデータ分布を回復できる条件を理論的に確立する。
• 標準的な画像データセット上で実証的にフレームワークを示し、サンプル品質と学習ダイナミクスを評価する。

提案手法

• ノイズ z をデータ空間に写像する生成器 G(z; θ_g) と、データとモデル出所を予測する識別器 D(x; θ_d) を定義する。
• V(D,G) = E_x~pdata[log D(x)] + E_z~pz[log(1 − D(G(z)))] のミニマックス目的を定式化し、D を最大化し、G が最小化するように訓練する。
• G が変化している間 D の最適解付近を保つよう、D の更新を k ステップと G の更新を 1 ステップで交互に行う。
• バックプロパゲーションを用いて両ネットワークを訓練する；マルコフ連鎖や明示的推論は不要。
• pg = pdata のときにグローバル最適解が生じることを示す理論解析を提供し、訓練手順の収束性を分析する。

実験結果

リサーチクエスチョン

• RQ1 敵対的学習設定を用いて生成モデルが真のデータ分布を学習できる条件は何か？
• RQ2 訓練中に D と G をどのように更新すれば安定した収束を確保できるか？
• RQ3 ミニマックス目的と pdata と pg の発散の理論的関係は何か？
• RQ4 標準的な画像データセット上で、サンプル品質と尤度推定の観点からGANフレームワークは経験的にどのように機能するか？

主な発見

モデル	MNIST	TFD
DBN	138±2	1909±66
Stacked CAE	121±1.6	2110±50
Deep GSN	214±1.1	1890±29
Adversarial nets	225±2	2057±26

• ゲームのグローバル最適解は、生成器分布 pg がデータ分布 pdata に等しい場合に限って到達する。
• 固定点識別器 D* は pdata/(pdata+pg) となり、収束時には生成器が pdata を再現できる。
• 経験的には、Adversarial nets は MNIST, Toronto Face Database, CIFAR-10 で他の深層生成モデルと競合するサンプルを生成する。
• Parzen-window 推定のテスト対数尤度は MNIST と TFD で Adversarial nets に対して競争力のある性能を示す（Table 1）。
• 訓練とサンプリングの際にマルコフ連鎖を必要とせず、直接的なバックプロパゲーションベースの最適化を可能にする。