[論文レビュー] Towards Better Understanding of Adaptive Gradient Algorithms in Generative Adversarial Nets

Mingrui Liu, Youssef Mroueh+5 more|arXiv (Cornell University)|Dec 26, 2019

Stochastic Gradient Optimization Techniques参考文献 49被引用数 21

ひとこと要約

本稿では、GAN訓練における非凸非凹なミニマックス問題に対して、Optimistic Stochastic Gradient (OSG) の適応的バージョンである Optimistic Adagrad (OAdagrad) を提案する。$O(\epsilon^{-\frac{2}{1-\alpha}})$ の改善された適応的収束複雑度を確立し、ここで $\alpha$ は累積確率的勾配の増加率を測るものであり、適応的手法が GAN で非適応的手法を上回る理由を、勾配の増加が遅いことによって説明する。

ABSTRACT

Adaptive gradient algorithms perform gradient-based updates using the history of gradients and are ubiquitous in training deep neural networks. While adaptive gradient methods theory is well understood for minimization problems, the underlying factors driving their empirical success in min-max problems such as GANs remain unclear. In this paper, we aim at bridging this gap from both theoretical and empirical perspectives. First, we analyze a variant of Optimistic Stochastic Gradient (OSG) proposed in~\citep{daskalakis2017training} for solving a class of non-convex non-concave min-max problem and establish $O(ε^{-4})$ complexity for finding $ε$-first-order stationary point, in which the algorithm only requires invoking one stochastic first-order oracle while enjoying state-of-the-art iteration complexity achieved by stochastic extragradient method by~\citep{iusem2017extragradient}. Then we propose an adaptive variant of OSG named Optimistic Adagrad (OAdagrad) and reveal an \emph{improved} adaptive complexity $O\left(ε^{-\frac{2}{1-α}} ight)$, where $α$ characterizes the growth rate of the cumulative stochastic gradient and $0\leq α\leq 1/2$. To the best of our knowledge, this is the first work for establishing adaptive complexity in non-convex non-concave min-max optimization. Empirically, our experiments show that indeed adaptive gradient algorithms outperform their non-adaptive counterparts in GAN training. Moreover, this observation can be explained by the slow growth rate of the cumulative stochastic gradient, as observed empirically.

研究の動機と目的

• 適応的勾配手法が教師あり学習では限られた実証的利点であるにもかかわらず、GAN 訓練で非適応的手法を上回る理由を理解すること。
• 非凸非凹なミニマックス最適化における適応的勾配アルゴリズムの理論的ギャップを埋めること。
• 確率的ミニマックス設定における適応的および楽観的手法の収束複雑度の上限を確立すること。
• GAN における累積勾配増加の遅さと収束の改善との関係を実証的に検証すること。

提案手法

• 非凸非凹なミニマックス問題のための、Optimistic Stochastic Gradient (OSG) の適応的変種、すなわち Optimistic Adagrad (OAdagrad) を提案する。
• OSG の変種を分析し、$\epsilon$-一次静止点を求めるための $O(\epsilon^{-4})$ の反復複雑度を証明する。
• 累積確率的勾配の増加率を特徴付ける $\alpha \in [0, 1/2]$ を用いて、$O(\epsilon^{-\frac{2}{1-\alpha}})$ の適応的収束複雑度を導出する。
• 確率的一次オракルを用い、適応的学習率によるヘッセに類似た正規化を組み込む。
• 理論的予測を検証するために、GAN 訓練における累積確率的勾配の増加率を実証的に測定する。
• CIFAR10 における WGAN-GP フレームワークに理論的分析を適用し、OAdagrad、OSG、および交互に Adam を、さまざまなバッチサイズで比較する。

実験結果

リサーチクエスチョン

• RQ1 なぜ Adam のような適応的勾配手法は、教師あり学習では劣っているにもかかわらず、GAN 訓練では非適応的 SGD よりも優れているのか？
• RQ2 非凸非凹なミニマックス問題における適応的楽観的手法の理論的収束複雑度は何か？
• RQ3 累積確率的勾配の増加率は、GAN における適応的手法の収束にどのように影響するか？
• RQ4 GAN における適応的手法の実証的成功は、収束複雑度の理論的上限によって説明可能か？

主な発見

• 提案された OAdagrad は、$O(\epsilon^{-\frac{2}{1-\alpha}})$ の適応的収束複雑度を達成し、非適応的 OSG の $O(\epsilon^{-4})$ 複雑度を改善している。
• OAdagrad の収束速度は、累積確率的勾配の増加率 $\alpha$ に依存し、増加が遅いほど収束が速くなる。
• 実証的結果では、OAdagrad が OSG や Alternating Adam よりも速く収束することが示され、特に大きなミニバッチサイズの場合顕著である。
• GAN 訓練における累積確率的勾配はゆっくりと増加することが実証的に示され、理論的予測である「このような挙動が OAdagrad における収束の改善をもたらす」ことに整合している。
• ミニバッチサイズが増加する際、OAdagrad は Alternating Adam を上回る性能を示し、大バッチ学習における適応的学習率の利点を示している。
• 本研究は、非凸非凹なミニマックス最適化における適応的勾配手法の理論的複雑度解析を初めて提供している。