[論文レビュー] A Variational Inequality Perspective on Generative Adversarial Networks

Gauthier Gidel, Hugo Berard+3 more|arXiv (Cornell University)|Feb 28, 2018

Generative Adversarial Networks and Image Synthesis参考文献 56被引用数 117

ひとこと要約

論文はGAN最適化を変分不等式問題として再定義し、訓練の安定性と収束を改善するために平均化、外推、および過去からの外推を導入し、理論とCIFAR-10実験で利得を示す。

ABSTRACT

Generative adversarial networks (GANs) form a generative modeling approach known for producing appealing samples, but they are notably difficult to train. One common way to tackle this issue has been to propose new formulations of the GAN objective. Yet, surprisingly few studies have looked at optimization methods designed for this adversarial training. In this work, we cast GAN optimization problems in the general variational inequality framework. Tapping into the mathematical programming literature, we counter some common misconceptions about the difficulties of saddle point optimization and propose to extend techniques designed for variational inequalities to the training of GANs. We apply averaging, extrapolation and a computationally cheaper variant that we call extrapolation from the past to the stochastic gradient method (SGD) and Adam.

研究の動機と目的

• GANトレーニングを二人プレーヤーゲームとして動機づけ、それを変分不等式理論を通して分析する。
• VIP（変分不等式）文献からの平均化と外推技術をGAN最適化へ導入する。
• 確率的なVIPにおける過去からの外推の収束保証を提供する。
• WGAN-GPとResNetジェネレータを用いたCIFAR-10でのGAN訓練の実用的な改善を示す。

提案手法

• GAN最適化（ミニマックス/非ゼロ和定式化）を演算子Fと領域Ωを持つ変分不等式問題として表現する。
• 変分不等式解法の手法（平均化と外推＝過去からの外推を含む）をGAN訓練へ適用する。
• これらのVIP技法を取り入れた SGD の確率的変形を開発・分析する（AvgSGD、AvgExtraSGD、AvgPastExtraSGD）。
• 収束結果を提供する：強単調性とリプシッツ条件下で過去からの外推の線形収束、平均化を伴う確率的収束速度。
• 実践的にはこれらの手法をAtomとSGDと組み合わせる方法を示す（Extra-Adam など）。
• 実用のためのコードと実装の詳細を提供する。

実験結果

リサーチクエスチョン

• RQ1 変分不等式技法は標準のSGD法と比較してGAN訓練を安定化できるか？
• RQ2 平均化と外推はGAN最適化における振動を減らし収束を改善するか？
• RQ3 これらVIPベースの手法のバッチ・確率的設定の両方での収束保証は何か？
• RQ4 GAN文脈でVIPベースの手法はSGDやAdamのような一般的最適化手法とどのように統合されるか？
• RQ5 これらの手法は標準的なGANベンチマーク（例：CIFAR-10）で現代的なアーキテクチャとともに測定可能な改善をもたらすか？

主な発見

• 平均化と外推は、ゲームの変分不等式性に対処することでGAN訓練の振動を低減する。
• 過去からの外推は強い単調性を持つ演算子に対して線形収束を達成し、標準SGDと比べて理論上有利な収束速度を持つ。
• 確率的設定では AvgPastExtraSGD および関連変種が分散を低減し、競争力のある収束保証を提供する。
• 実証的結果は、ResNetジェネレータを用いたWGAN-GPでCIFAR-10のInception ScoreとFréchet Inception Distanceを4–6%改善することを示す。
• この研究には実用的なアルゴリズム変種とコードが含まれており、再現性とAdam/SGD最適化との統合を可能にする。