[論文レビュー] GANs with First-Order Greedy Discriminators

Vijay Keswani, Oren Mangoubi+2 more|arXiv (Cornell University)|Jun 22, 2020

Domain Adaptation and Few-Shot Learning被引用数 2

ひとこと要約

本稿では、逐次的に更新され、定常点に到達する一次のグリーディな識別器を用いたGAN訓練フレームワークを提案する。この手法により、近似的な局所均衡への証明可能な収束が可能となり、多項式時間で収束し、非凸／非凹な損失関数に対しても対応可能である。CIFAR-10におけるモードカバレッジとInceptionスコアにおいて、GDA、OMD、アンラールドGANを上回る性能を発揮する。

ABSTRACT

We propose a variant of the standard min-max framework for GANs to learn a distribution, where the discriminator can update its strategy in a greedy manner until it reaches a first-order stationary point. We give an algorithm to train such a GAN and show that it provably converges from any initial point to an approximate local equilibrium for this framework. Our algorithm runs in time polynomial in the smoothness parameters of the loss function and independent of the dimension, and allows for loss functions that can be nonconvex and nonconcave in the parameters of the generator and discriminator. Empirically, GANs trained using our algorithm consistently learn a greater number of modes than gradient descent-ascent (GDA), optimistic mirror descent (OMD), and unrolled GANs when applied to a synthetic Gaussian mixture dataset. Moreover, they perform significantly better on CIFAR-10 than OMD and GDA when comparing the mean and standard deviation of the Inception Score respectively.

研究の動機と目的

• 標準的なGAN訓練における不安定さと劣悪なモードカバレッジを是正するため、識別器の更新プロセスを再定義すること。
• 一般の損失関数条件下でも、近似的な局所均衡に証明可能な収束を達成する訓練アルゴリズムの開発。
• 次元に依存しない多項式時間の複雑性を有する、効率的な訓練を可能とすること。
• 生成器および識別器のパラメータにおいて非凸・非凹な損失関数を許容することで、サンプルの多様性と品質の向上を図ること。

提案手法

• 識別器は一次のグリーディな方法で逐次的に更新され、一次の定常点に到達するまで戦略を改善する。
• 標準的なミニマックス最適化を、識別器のための逐次的かつグリーディな更新ルールに置き換える。
• 繰り返し行われる識別器の更新を通じて、近似的な局所均衡への収束を保証する。
• 滑らかさパラメータに比例する多項式時間で動作し、入力次元に依存しない。
• 生成器および識別器の両方のパラメータにおいて、非凸・非凹な損失関数をサポートする。
• 多様な損失関数の形状に耐性があり、スケーラブルかつロバストな訓練が可能となるようにアルゴリズムを設計。

実験結果

リサーチクエスチョン

• RQ1 グリーディで一次の識別器の更新戦略は、安定的かつ収束的なGAN訓練を可能にするか？
• RQ2 提案手法は、一般の非凸／非凹な損失関数のもとで、近似的な局所均衡への収束を達成するか？
• RQ3 合成データにおいて、提案されたGANのモードカバレッジはGDA、OMD、アンラールドGANと比較してどうなるか？
• RQ4 CIFAR-10のような標準ベンチマークにおいて、提案手法のInceptionスコアの性能はいかがなものか？
• RQ5 次元に依存しない多項式時間の複雑性を維持できるか？

主な発見

• 提案されたアルゴリズムは、任意の初期点から近似的な局所均衡に証明可能な収束を達成する。
• 滑らかさパラメータに比例する多項式時間で動作し、入力次元に依存しない。
• 合成のガウス混合データセットにおいて、GDA、OMD、アンラールドGANよりも顕著に多くのモードを学習する。
• CIFAR-10において、OMDやGDAと比較して平均Inceptionスコアが高く、標準偏差が低い。
• 生成器および識別器の両方のパラメータにおいて、非凸・非凹な損失関数をサポートする。
• 実騴結果により、複数のベンチマークで改善されたサンプルの多様性と品質が確認された。