[論文レビュー] Training Generative Adversarial Networks via Primal-Dual Subgradient Methods: A Lagrangian Perspective on GAN

Xu Chen, Jiang Wang+1 more|arXiv (Cornell University)|Feb 6, 2018

Generative Adversarial Networks and Image Synthesis参考文献 25被引用数 8

ひとこと要約

この論文は、GANの訓練を凸最適化における原双対勾配法として定式化し、生成器と判別器をそれぞれ原変数と双対変数として解釈する。この枠組みから得られる最適勾配方向に従って生成器を更新することで、収束を保証し、モード崩壊を効果的に軽減する。CIFAR-10では最先端のインceptionスコアを達成し、合成および実世界のデータセットにおいて優れた多様性を示す。

ABSTRACT

We relate the minimax game of generative adversarial networks (GANs) to finding the saddle points of the Lagrangian function for a convex optimization problem, where the discriminator outputs and the distribution of generator outputs play the roles of primal variables and dual variables, respectively. This formulation shows the connection between the standard GAN training process and the primal-dual subgradient methods for convex optimization. The inherent connection does not only provide a theoretical convergence proof for training GANs in the function space, but also inspires a novel objective function for training. The modified objective function forces the distribution of generator outputs to be updated along the direction according to the primal-dual subgradient methods. A toy example shows that the proposed method is able to resolve mode collapse, which in this case cannot be avoided by the standard GAN or Wasserstein GAN. Experiments on both Gaussian mixture synthetic data and real-world image datasets demonstrate the performance of the proposed method on generating diverse samples.

研究の動機と目的

• GANの訓練を凸最適化における原双対勾配法に結びつけることで、理論的基盤を確立すること。
• ラグランジュ式の定式化から導かれる新たな訓練目的を通じて、GANにおける長年の問題であるモード崩壊を解消すること。
• 原双対枠組みを用いて関数空間におけるGAN訓練の収束保証を提供すること。
• ネットワークアーキテクチャを変更せずに、多様性を向上させるシンプルで低複雑度の正則化項を開発すること。

提案手法

• 論文は、標準的なGANミニマックスゲームを、ラグランジュ関数の鞍点を求める問題として定式化し、判別器出力と生成器分布をそれぞれ原的役割と双対的役割として位置づける。
• 生成器の出力分布を最適な原双対勾配方向に更新する、新規の生成器目的関数を導出する。
• 原双対勾配法に一致するように更新を整えるために、生成器損失に正則化項を導入し、収束性と多様性の向上を図る。
• このアプローチは凸最適化理論に裏付けられており、適切なステップサイズ選択のもとで収束を保証する。
• この枠組みは、合成データ（ガウス混合）および実世界のデータセット（MNIST、CIFAR-10）に最小限のアーキテクチャ変更で適用可能である。

実験結果

リサーチクエスチョン

• RQ1 GANにおけるミニマックスゲームを、凸最適化における原双対勾配法として解釈できるか？
• RQ2 この解釈により、関数空間におけるGAN訓練が保証された収束性を持つアルゴリズムにできるか？
• RQ3 原双対定式化は、GANにおけるモード崩壊を効果的に緩和できるか？
• RQ4 提案された目的関数は、標準GANおよびWGANと比較して、サンプルの多様性と品質の点で優れているか？

主な発見

• 8モードの2次元ガウス混合分布において、提案手法は全モードからサンプルを生成するのに対し、標準GANとWGANはモード崩壊を示す。
• MNISTでは、インセプションスコア9.8を達成し、ベースラインのGAN（8.8）を上回る。
• CIFAR-10では、インセプションスコア4.53を達成し、WGAN（3.82）を顕著に上回り、よりシンプルなアーキテクチャでも他の先進的なGANバージョンと同等またはそれを上回る性能を示す。
• 判別器出力がデータサポート全域で0.5に収束しており、理論的に予測された最適解への収束が確認された。
• 生成器損失に追加するシンプルな正則化項のみで実現可能であり、アーキテクチャの変更や複雑な訓練手順を一切必要としない。