[論文レビュー] GANs Trained by a Two Time-Scale Update Rule Converge to a Nash Equilibrium

Martin Heusel, Hubert Ramsauer+4 more|arXiv (Cornell University)|Jun 26, 2017

Generative Adversarial Networks and Image Synthesis参考文献 55被引用数 371

ひとこと要約

この論文は、生成対抗ネットワーク（GANs）の学習に特化した二段階時間スケール更新則（TTUR）を導入する。TTURは生成器と識別器に別々の学習率を割り当て、やや緩い仮定のもとで局所的ナッシュ均衡への収束を保証する。画像生成タスクにおいて、CIFAR-10、CelebA、LSUN Bedroomsのデータセットで、Frechet Inception Distance（FID）スコアにおいて標準的なGAN学習を上回る性能を発揮する。

ABSTRACT

Generative Adversarial Networks (GANs) excel at creating realistic images with complex models for which maximum likelihood is infeasible. However, the convergence of GAN training has still not been proved. We propose a two time-scale update rule (TTUR) for training GANs with stochastic gradient descent on arbitrary GAN loss functions. TTUR has an individual learning rate for both the discriminator and the generator. Using the theory of stochastic approximation, we prove that the TTUR converges under mild assumptions to a stationary local Nash equilibrium. The convergence carries over to the popular Adam optimization, for which we prove that it follows the dynamics of a heavy ball with friction and thus prefers flat minima in the objective landscape. For the evaluation of the performance of GANs at image generation, we introduce the Frechet Inception Distance (FID) which captures the similarity of generated images to real ones better than the Inception Score. In experiments, TTUR improves learning for DCGANs and Improved Wasserstein GANs (WGAN-GP) outperforming conventional GAN training on CelebA, CIFAR-10, SVHN, LSUN Bedrooms, and the One Billion Word Benchmark.

研究の動機と目的

• 複雑なモデルにおいて最大尤度推定が不適切となる状況を想定し、GAN学習における理論的収束保証の欠如を解消すること。
• やや緩い仮定のもとで局所的ナッシュ均衡への収束を保証する学習則の開発。
• 画像生成タスクにおけるGANの安定性と性能を、標準的な確率的勾配降下法と比較して向上させること。
• 生成画像と実画像の類似度をより的確に捉える新しい評価指標、Frechet Inception Distance（FID）の導入。

提案手法

• 生成器と識別器に異なる学習率を割り当てる二段階時間スケール更新則（TTUR）を提案する。
• 確率的近似理論を適用し、やや緩い条件下でTTURが定常的局所的ナッシュ均衡に収束することを証明する。
• Adam最適化法が摩擦を伴う重りの運動のダイナミクスに従うことを分析し、損失関数の平坦な極小値を好む性質を示す。
• 実画像分布と生成画像分布の統計的類似度を測定する新しい指標として、Frechet Inception Distance（FID）を導入する。
• 標準GANとImproved WGAN-GPの両方でTTURを適用し、複数のベンチマークで一貫した性能向上を実証する。
• CelebA、CIFAR-10、SVHN、LSUN Bedrooms、One Billion Word Benchmarkを含む多様なデータセットで手法を検証する。

実験結果

リサーチクエスチョン

• RQ1 TTURはやや緩い仮定のもとで、GAN学習が局所的ナッシュ均衡に収束することを保証するか？
• RQ2 画像生成タスクにおける学習の安定性と性能について、TTURは標準的な確率的勾配降下法と比べてどのように差をつけるか？
• RQ3 Frechet Inception Distance（FID）は、Inception Scoreよりも生成画像の品質をより信頼性高く評価できるか？
• RQ4 TTURと組み合わせた場合、Adam最適化法はGANの損失関数の平坦な極小値を好むダイナミクスに従うか？その結果、一般化性能が向上するか？
• RQ5 TTURはCIFAR-10、CelebA、LSUN Bedroomsといった多様なデータセットにおいて、どの程度性能を向上させるか？

主な発見

• TTURはやや緩い仮定のもとで定常的局所的ナッシュ均衡への収束を保証し、GAN学習の安定性に理論的根拠を与える。
• DCGANやImproved WGAN-GPの両方において、CIFAR-10、CelebA、LSUN Bedroomsなどの複数のデータセットで、TTURが学習性能を顕著に向上させる。
• Frechet Inception Distance（FID）は、Inception Scoreに比べて画像の品質と多様性をより優れた能力で捉える。
• Adam最適化法をTTURと組み合わせた場合、損失関数の平坦な極小値を好む摩擦を伴う重りの運動のダイナミクスに従い、一般化性能が向上する。
• One Billion Word Benchmarkにおける実験から、TTURがGAN学習性能を向上させることを示し、画像生成を超えた幅広い応用可能性を示す。
• TTURはFIDスコアにおいて、従来のGAN学習を一貫して上回り、多様なベンチマークで有効性が確認される。