[論文レビュー] Energy-based Generative Adversarial Network

Junbo Zhao, Michaël Mathieu+1 more|arXiv (Cornell University)|Sep 11, 2016

Generative Adversarial Networks and Image Synthesis参考文献 23被引用数 893

ひとこと要約

EBGANはGAN識別器をエネルギー関数として再解釈することでエネルギーベースの測度を自己符号化器で取得可能にし、トレーニングの安定性を向上させ、高解像度画像生成を実証する。

ABSTRACT

We introduce the "Energy-based Generative Adversarial Network" model (EBGAN) which views the discriminator as an energy function that attributes low energies to the regions near the data manifold and higher energies to other regions. Similar to the probabilistic GANs, a generator is seen as being trained to produce contrastive samples with minimal energies, while the discriminator is trained to assign high energies to these generated samples. Viewing the discriminator as an energy function allows to use a wide variety of architectures and loss functionals in addition to the usual binary classifier with logistic output. Among them, we show one instantiation of EBGAN framework as using an auto-encoder architecture, with the energy being the reconstruction error, in place of the discriminator. We show that this form of EBGAN exhibits more stable behavior than regular GANs during training. We also show that a single-scale architecture can be trained to generate high-resolution images.

研究の動機と目的

• 識別器が確率ではなくエネルギー値を出力するエネルギーベースのGANの定式化を導入する。
• このフレームワーク下で、生成器はデータ多様体の外側のエネルギー領域を最小化し、識別器は実データに低エネルギーを割り当てることを示す。
• 自己符号化器を識別器として用いると安定した訓練が得られ、多重スケールの設定なしで高解像度画像を生成できることを示す。
• 単純なヒンジ損失の下で生成器がデータ分布に一致する平衡条件に関する理論的結果を提供する。
• 複数のデータモードのカバーを促進するような正則化手法（例えばリペリング正則化）を調査する。

提案手法

• Dをエネルギー関数として定義し、実データに対してD(x)を低く、G(z)に対してD(G(z))をマージンm以上にするマージン損失で学習する。
• 生成器の損失L_G(z)=D(G(z))と識別器の損失L_D(x,z)=D(x)+[m−D(G(z))]^+ で、[·]^+ はヒンジ。
• Dを自己符号化器として具体化し、エネルギーを再構成誤差 ||Dec(Enc(x))−x|| に等しいとする。
• エネルギーに基づく枠組みは、二値分類器以外の柔軟なアーキテクチャや損失関数を許容することを主張する。
• 多様な表現を促進しモード崩壊を緩和するリペリング正則化項（Pulling-away Term）を導入する。
• 自己符号化器の正則化を通じて同一性マッピングを避け、データ多様体の外側でエネルギーが高くなるようにする。

実験結果

リサーチクエスチョン

• RQ1 エネルギーに基づくGAN（EBGAN）フレームワークが自己符号化器識別器とともにナッシュ均衡の下でデータ分布へ収束するか？
• RQ2 マージン損失はEBGANの平衡と訓練安定性にどのような影響を与えるか？
• RQ3 リペリング正則化はモードのカバーと生成サンプルの多様性を向上させるか？
• RQ4 自己符号化器識別器を用いた単一スケールのEBGANで高解像度画像を生成できるか？
• RQ5 アーキテクチャの選択がEBGANの安定性と品質に及ぼす影響は従来のGANと比べてどうか？

主な発見

• 単純なヒンジ損失の下でナッシュ均衡はp_G = p_dataを生成し、生成サンプルがデータ分布と一致する。
• 自己符号化器識別器は柔軟なエネルギー表面を提供し、標準的なGAN識別器より安定した訓練をもたらす可能性がある。
• EBGANはマルチスケールアーキテクチャなしでImageNet上の高解像度画像（256×256）を生成できる。
• リペリング項のような正則化はサンプルの多様性を改善し、複数のデータモードをカバーするのに役立つ。
• EBGANはMNISTのグリッド探索でGANより安定した訓練を示し、Ladder Networksによる半教師付き拡張を可能にする。
• 深い畳み込みアーキテクチャと組み合わせるとLSUN BedroomおよびCelebAデータセットで現実的な生成を可能にする。