[論文レビュー] GANs May Have No Nash Equilibria

Farzan Farnia, Asuman Ozdaglar|arXiv (Cornell University)|Feb 21, 2020

Generative Adversarial Networks and Image Synthesis参考文献 44被引用数 25

ひとこと要約

この論文は、生成対抗ネットワーク（GANs）が、生成器モデルが実現可能でない場合、ミニマックス最適化において局所的ナッシュ均衡を欠く可能性があることを示している。これを解決するために、著者らは、GANの目的関数にプロキシマル作用素を適用して導出された、新たな均衡概念「プロキシマル均衡」を導入している。この均衡が、 Wasserstein GAN における最適な生成器に対して存在することを証明し、標準的な GAN 最適化の代替手段として安定な「プロキシマルトレーニング」を提案している。

ABSTRACT

Generative adversarial networks (GANs) represent a zero-sum game between two machine players, a generator and a discriminator, designed to learn the distribution of data. While GANs have achieved state-of-the-art performance in several benchmark learning tasks, GAN minimax optimization still poses great theoretical and empirical challenges. GANs trained using first-order optimization methods commonly fail to converge to a stable solution where the players cannot improve their objective, i.e., the Nash equilibrium of the underlying game. Such issues raise the question of the existence of Nash equilibrium solutions in the GAN zero-sum game. In this work, we show through several theoretical and numerical results that indeed GAN zero-sum games may not have any local Nash equilibria. To characterize an equilibrium notion applicable to GANs, we consider the equilibrium of a new zero-sum game with an objective function given by a proximal operator applied to the original objective, a solution we call the proximal equilibrium. Unlike the Nash equilibrium, the proximal equilibrium captures the sequential nature of GANs, in which the generator moves first followed by the discriminator. We prove that the optimal generative model in Wasserstein GAN problems provides a proximal equilibrium. Inspired by these results, we propose a new approach, which we call proximal training, for solving GAN problems. We discuss several numerical experiments demonstrating the existence of proximal equilibrium solutions in GAN minimax problems.

研究の動機と目的

• 生成器が非実現的である設定下で、GAN のミニマックスゲームにナッシュ均衡が存在するかを調査すること。
• GAN の1次最適化における不安定性を是正するため、より適切な均衡概念を同定すること。
• GAN の逐次的移動構造を反映する新たな均衡概念「プロキシマル均衡」を提案すること。
• プロキシマル均衡に基づくトレーニング法「プロキシマルトレーニング」を考案し、収束性と安定性を向上させること。
• 理論的・実験的に、標準的な GAN の定式化におけるプロキシマル均衡の存在を検証すること。

提案手法

• 元の GAN のミニマックス目的関数にプロキシマル作用素を適用した新しいゼロサムゲームを定義する：$ V^{\text{prox}}(G,D) = \max_{\widetilde{D}} V(G,\widetilde{D}) - \|\widetilde{D} - D\|^2 $。
• この新しいゲームのナッシュ均衡としてプロキシマル均衡を導入し、GAN トレーニングの逐次的性質（生成器が先に動く、次にディスクラミネーター）をよりよく反映している。
• 適切な条件下で、1次および2次 Wasserstein GAN における最適な生成器が、プロキシマル均衡を達成することを証明する。
• 元のミニマックス目的関数にプロキシマル項を組み込むことで、最適化の安定性を高める「プロキシマルトレーニング」を提案する。
• Sobolevノルム $ \|\cdot\|_{\dot{H}^1} $ を用いたヒルベルト空間フレームワークを用いて、強い凸性を確立し、収束保証を導出する。
• ディスクラミネーターの1リプシッツ性と最適輸送写像を活用し、プロキシマル設定下でワッサープシュタイン距離目的関数が強い凸最適化問題に簡略化されることを示す。

実験結果

リサーチクエスチョン

• RQ1 生成器がバッチ正規化やスペクトル正規化などの正則化により制限されている場合、GAN のミニマックスゲームに局所的ナッシュ均衡が存在するか？
• RQ2 GAN の逐次的トレーニングダイナミクスを尊重する、より適切な均衡概念を定義できるか？
• RQ3 ヴァニラ GAN、WGAN、f-GAN などの標準的な GAN 定式化において、プロキシマル均衡が存在するか？
• RQ4 プロキシマルトレーニングは、標準的な1次最適化手法と比較して、GAN の最適化における収束性と安定性を向上させられるか？
• RQ5 Wasserstein GAN における最適な生成器は、プロキシマルゲーム定式化下でプロキシマル均衡を満たすか？

主な発見

• 論文は、バッチ正規化やスペクトル正規化などの正則化によって生成器が制限されている場合、GAN のミニマックス問題にナッシュ均衡が存在しない可能性があることを証明している。
• 1次および2次 Wasserstein GAN において、データ分布へのワッサープシュタイン距離を最小化する最適な生成器が、プロキシマル均衡を達成することを示している。
• プロキシマル均衡が、スタックルベルクゲーム定式化における部分ゲーム完全均衡と同等であることが示され、GAN にとって自然な均衡概念であることが裏付けられている。
• プロキシマルゲームの目的関数は、$ \dot{H}^0 $ ノルムに関して1強凸であるため、一意な最小値を有し、最適化が安定することが保証される。
• プロキシマル均衡は不等式 $ V(G_{\bm{\theta}}, D^{\bm{\theta}}) - V(G_{\bm{\theta}^*}, D^{\bm{\theta}^*}) \geq \frac{\eta}{2} \|D - D_{\bm{\theta}^*}\|^2_{\dot{H}^1} $ を満たし、安定性が証明されている。
• 数値実験により、標準的な GAN がナッシュ均衡に収束しない場合でも、実用的な GAN トレーニングにおいてプロキシマル均衡解が存在することが確認されている。