[論文レビュー] On Gradient Descent Ascent for Nonconvex-Concave Minimax Problems

Tianyi Lin, Chi Jin+1 more|arXiv (Cornell University)|Jun 2, 2019

Sparse and Compressive Sensing Techniques参考文献 53被引用数 118

ひとこと要約

この論文は非凸-凸凹ミニマックス問題に対して、2時間尺度の勾配降下・上昇法（GDA）および確率的GDA（SGDA）を分析し、 Phi(x)=max_y f(x,y) のε-停留点への非漸近的収束を、非凸-強凸凹および非凸-凹凸の設定で、勾配計算と確率的勾配計算の定量的複雑性を明示的に示す。

ABSTRACT

We consider nonconvex-concave minimax problems, $\min_{\mathbf{x}} \max_{\mathbf{y} \in \mathcal{Y}} f(\mathbf{x}, \mathbf{y})$, where $f$ is nonconvex in $\mathbf{x}$ but concave in $\mathbf{y}$ and $\mathcal{Y}$ is a convex and bounded set. One of the most popular algorithms for solving this problem is the celebrated gradient descent ascent (GDA) algorithm, which has been widely used in machine learning, control theory and economics. Despite the extensive convergence results for the convex-concave setting, GDA with equal stepsize can converge to limit cycles or even diverge in a general setting. In this paper, we present the complexity results on two-time-scale GDA for solving nonconvex-concave minimax problems, showing that the algorithm can find a stationary point of the function $Φ(\cdot) := \max_{\mathbf{y} \in \mathcal{Y}} f(\cdot, \mathbf{y})$ efficiently. To the best our knowledge, this is the first nonasymptotic analysis for two-time-scale GDA in this setting, shedding light on its superior practical performance in training generative adversarial networks (GANs) and other real applications.

研究の動機と目的

• min_x max_y f(x,y) において f が x で非凸、y で凹となる非凸-凹凸ミニマックス問題の動機づけと研究
• 2時間尺度GDAとSGDAの非漸近的収束保証の提供
• 異なる問題構造下での勾配評価回数と確率的勾配評価回数のアルゴリズム的複雑性の特徴付け
• GANs およびロバスト学習設定における実用的な性能の洞察を提供

提案手法

• η_x << η_y による2時間尺度GDAを用い、非凸-(強凸凹)問題における収束の安定化を図る
• 非凸-強凸凹設定において Φ(x)=max_y f(x,y) の ε-停留点を、勾配計算複雑度 O(kappa^2 ε^-2) で発見することを証明
• 同じ設定で SGDA が勾配計算と確率的勾配計算の複雑度 O(kappa^3 ε^-4) を達成し、バッチサイズ M=Θ(max{1,kappa sigma^2 ε^-2}) を取ることを証明
• 非凸-凹凸設定では、より小さな変化をする凹目的関数に対して Moreau包絡ベースの停留性の概念を用いて、O(ε^-6) の勾配評価と O(ε^-8) の確率的勾配評価を達成する
• 解析がゆっくり変化する凹目的関数をどのように扱うか、Moreau包絡停留性をサブグラデient の概念とどのように関連付けるかを論じる

実験結果

リサーチクエスチョン

• RQ1 2時間尺度 GDA/SGDA が非凸-凹凸ミニマックス問題において ε-停留点へ provably 収束するか？
• RQ2 非凸-强凹凸および非凸-凹凸設定下で、2時間尺度GDA/SGDA の非漸近的勾配および確率的勾配計算の複雑性はどうなるか？
• RQ3 ステップサイズの選択（η_x, η_y）とその比が収束と複雑性にどう影響するか？
• RQ4 Moreau包絡ベースの停留性概念はこの文脈で伝統的なサブグラデient 停留性とどのように関連するか？

主な発見

• 非凸-強凸凹問題において、2時間尺度GDAは Φ の ε-停留点へ到達するために O(kappa^2 ε^-2) 勾配評価を達成し、SGDA は O(kappa^3 ε^-4) の確率的勾配評価を達成する。
• 非凸-凹凸問題では、対応する停留性概念へ到達するために、2時間尺度GDA が O(ε^-6) 勾配評価を、SGDA が O(ε^-8) の確率的勾配評価を要する。
• η_y/η_x の比は Theta(kappa^2) でなければならず、ミニマックス問題の非対称性と安定性を確保する。
• ゆっくり変化する目的関数を用いた凹最適化を解析する新しい手法を導入し、単一ループの GDA/SGDA に対する非漸近的保証を実現した。
• 結果は決定論的（勾配）および確率的（SGDA）設定の双方に適用可能で、問題の条件数と可行な y-set の直径に明示的に依存する。