[論文レビュー] Generalization and Equilibrium in Generative Adversarial Nets (GANs)

Sanjeev Arora, Rong Ge+3 more|arXiv (Cornell University)|Mar 2, 2017

Generative Adversarial Networks and Image Synthesis被引用数 211

ひとこと要約

本論文は、 GANの一般化が標準の指標では失敗する可能性がある一方でニューラルネット距離では成り立つことを示し、ジェネレーターの混合による近似平衡の存在を証明し、実践的な安定化手法としてMIX+GANを提案する。

ABSTRACT

We show that training of generative adversarial network (GAN) may not have good generalization properties; e.g., training may appear successful but the trained distribution may be far from target distribution in standard metrics. However, generalization does occur for a weaker metric called neural net distance. It is also shown that an approximate pure equilibrium exists in the discriminator/generator game for a special class of generators with natural training objectives when generator capacity and training set sizes are moderate. This existence of equilibrium inspires MIX+GAN protocol, which can be combined with any existing GAN training, and empirically shown to improve some of them.

研究の動機と目的

• 標準的な分布距離の下でGANの訓練が一般化しない可能性があることを示す。
• GANのための扱いやすい一般化指標としてニューラルネット距離を導入する。
• GANゲームにおけるジェネレーターの混合を介して近似的な純均衡の存在を証明する。
• 実用的な訓練フレームワークとしてMIX+GANを提案し、経験的に検証する。

提案手法

• ニューラルネット判別器とジェネレーターを用い、共通の目的関数でGAN訓練を定義する。
• F距離とニューラルネット距離を統一的な発散尺度として導入する。
• 多項式のサンプル複雑性を持つニューラルネット距離の一般化保証を証明する。
• ジェネレーターの無限混合がGANゲームにおいてほぼ最適な平衡を達成できることを示す。
• 近似的な純平衡を実現する有限混合集成を提案し、ネットワークサイズの境界を導出する。
• 混合集成を既存のGAN目的と組み合わせ、エントロピー正則化を用いて多様性を促進する実践的な訓練プロトコルとしてMIX+GANを導入する。

実験結果

リサーチクエスチョン

• RQ1 標準的な距離指標（JS, Wasserstein）で、多項式のサンプル数を用いた場合、GAN訓練は一般化するか？
• RQ2 より弱い指標（ニューラルネット距離）がGANの一般化保証を提供できるか？
• RQ3 GANゲームに平衡が存在し、実用的なネットワークサイズで実現できるか？
• RQ4 ジェネレーターの混合は近似平衡を達成でき、これを単一のネットワーク（純粋平衡）として実装できるか？
• RQ5 MIX+GANフレームワークは訓練を安定化させ、経験的に性能を向上させるか？

主な発見

手法	スコア
SteinGAN ( Wang and Liu, 2016 )	6.35
Improved GAN ( Salimans et al., 2016 )	8.09 ± 0.07
AC-GAN ( Odena et al., 2016 )	8.25 ± 0.07
S-GAN (best variant in Huang et al., 2017)	8.59 ± 0.12
DCGAN (as reported in Wang and Liu, 2016)	6.58
DCGAN (best variant in Huang et al., 2017)	7.16 ± 0.10
DCGAN (5x size)	7.34 ± 0.07
MIX+DCGAN (Ours, with 5 components)	7.72 ± 0.09
Wasserstein GAN	3.82 ± 0.06
MIX+WassersteinGAN (Ours, with 5 components)	4.04 ± 0.07

• 標準的なJS発散とWasserstein距離は、多項式サンプル数では一般化しない。
• ニューラルネット距離は多項式サンプルで一般化を享受し、GAN訓練の代理保証を提供する。
• ジェネレーターの有限混合集成によって近似平衡が存在し、純平衡のような構成は控えめなネットワークサイズの増加で可能。
• MIX+GANフレームワークは訓練を安定化させ、CIFAR-10、MNIST、CelebAなどのデータセットで改善をもたらす。
• 経験的結果はMIX+DCGANがいくつかのベースラインより高いInception Scoreを達成することを示す。