[論文レビュー] Taming GANs with Lookahead-Minmax

Tatjana Chavdarova, Matteo Pagliardini+3 more|arXiv (Cornell University)|Jun 25, 2020

Generative Adversarial Networks and Image Synthesis参考文献 63被引用数 4

ひとこと要約

本論文では、Lookaheadアルゴリズムをミニマックス問題に拡張することで、生成対抗ネットワーク（GAN）のトレーニングのための新しい最適化手法Lookahead–minmaxを提案する。連携パラメータ空間におけるバックトラッキングステップを組み込むことで、回転運動のダイナミクスと高分散勾配を効果的に軽減し、大幅に低い計算コストで安定したトレーニングを実現する。本手法は、BigGANと比較して30分の1のパラメータ数と16分の1のミニバッチサイズでCIFAR-10で12.19のSOTA FIDスコアを達成し、クラスラベルや大規模リソースを必要とせず、先行研究を上回る性能を発揮する。

ABSTRACT

Generative Adversarial Networks are notoriously challenging to train. The underlying minmax optimization is highly susceptible to the variance of the stochastic gradient and the rotational component of the associated game vector field. To tackle these challenges, we propose the Lookahead algorithm for minmax optimization, originally developed for single objective minimization only. The backtracking step of our Lookahead-minmax naturally handles the rotational game dynamics, a property which was identified to be key for enabling gradient ascent descent methods to converge on challenging examples often analyzed in the literature. Moreover, it implicitly handles high variance without using large mini-batches, known to be essential for reaching state of the art performance. Experimental results on MNIST, SVHN, CIFAR-10, and ImageNet demonstrate a clear advantage of combining Lookahead-minmax with Adam or extragradient, in terms of performance and improved stability, for negligible memory and computational cost. Using 30-fold fewer parameters and 16-fold smaller minibatches we outperform the reported performance of the class-dependent BigGAN on CIFAR-10 by obtaining FID of 12.19 without using the class labels, bringing state-of-the-art GAN training within reach of common computational resources.

研究の動機と目的

• ゲームベクトル場に存在する回転成分が原因で生じるGANトレーニングの不安定性と高分散を是正すること。
• 元々単一目的最小化を目的として開発されたLookaheadアルゴリズムを、GANにおけるミニマックス最適化に拡張すること。
• 計算およびメモリのオーバーヘッドを低減することで、標準的なハードウェアでも最先端の性能を達成可能なGANトレーニングを可能にすること。
• 実験的に、Lookahead–minmaxが回転運動ダイナミクスを抑制し、フルバッチおよび確率的設定の両方で収束性を向上させることを検証すること。
• 既存のSOTAアプローチと比較して、より小さなモデルとミニバッチサイズで優れたFIDおよびインセプションスコアを達成できることを示すこと。

提案手法

• 内側ループでは、ベース最適化法（例：Adamやextragradient）を用いて素早い重みを更新する2段階の最適化を提案：その後続のバックトラッキングステップで、連携パラメータ空間におけるゆっくりとした重みを更新する。
• 素早い重み更新の履歴を先読みすることで、トレーニングを安定化させ、回転ゲームダイナミクスを抑制する「アンテナステップ」を導入する。
• 標準的なGDAが失敗する状況、特にベクトル場のヤコビアンに反対称的（回転的）な成分が存在する場合に、収束可能であることを理論的に正当化するための双線形ゲームモデルを用いる。
• 最終的なモデル推論のための指数移動平均（EMA）をゆっくりとした重みに適用し、一般化性能とFIDスコアの向上を図る。
• DCGANおよびResNetアーキテクチャをMNIST、SVHN、CIFAR-10、ImageNetで用い、標準的なGANトレーニングプロトコルに従って適用する。
• 価値関数のヤコビアンの新しい分析を通じて、Lookahead–minmaxにおける収束が、均衡状態での回転成分の低減に関連していることを示す。

実験結果

リサーチクエスチョン

• RQ1 元々単一目的最小化を目的として開発されたLookaheadアルゴリズムを、GANにおけるミニマックス最適化に成功裏に拡張できるか？
• RQ2 Lookahead–minmaxに組み込まれたバックトラッキング機構は、GANトレーニングの発散を引き起こす原因となるゲームベクトル場の回転ダイナミクスを効果的に抑制できるか？
• RQ3 Lookahead–minmaxは、BigGANと比較して顕著に少ないモデルサイズとミニバッチサイズで、CIFAR-10におけるSOTA FIDおよびインセプションスコアを達成できるか？
• RQ4 特にAdamやextragradientと組み合わせた場合に、Lookahead–minmaxはフルバッチおよび確率的設定の両方でトレーニングの安定性と収束性を向上させるか？
• RQ5 理論的分析が示唆するように、性能の向上は分散の低減と回転成分の抑制によるものであると実証できるか？

主な発見

• CIFAR-10では、AltGANとAdamを用いたLookahead–minmaxが指数移動平均を適用することでFID 13.98を達成し、ベースラインのAltGAN（FID 21.37）を著しく上回り、より複雑なモデルと同等またはそれ以上の性能を示す。
• クラスラベルを一切使用せず、BigGANの30分の1のパラメータ数と16分の1のミニバッチサイズで、CIFAR-10で12.19のSOTA FIDを達成する。
• SVHNでは、LA–ExtraGradが32×32のImageNetモデルを用いてFID 2.94を達成し、限られたリソースで挑戦的なデータセットでも優れた性能を示す。
• MNISTでは、LA–AltGANがFID 0.053（ベースラインは0.094）を達成し、非常に優れた安定性と収束性を示す。
• ヤコビアン解析により、均衡状態でLookahead–minmaxがゲームベクトル場の反対称的（回転的）成分を低減していることが確認され、理論的主張を裏付ける。
• 実験的結果は、すべてのデータセットとモデルで一貫した改善を示しており、各アンテナステップ後にFIDが低下する傾向にあり、トレーニングの安定化に本手法が有効であることを確認する。