[論文レビュー] Solving a Class of Non-Convex Min-Max Games Using Iterative First Order Methods

Maher Nouiehed, Maziar Sanjabi+3 more|arXiv (Cornell University)|Feb 21, 2019

Stochastic Gradient Optimization Techniques参考文献 43被引用数 37

ひとこと要約

本論文は、非凸のミンマックスゲームにおける ε-一次順序ナッシュ均衡を見つけるための多段階の勾配降下-勾配上昇アルゴリズムを提案し、PL 条件下で最適な ε^{-2} レート、非凸凹ケースでは ε^{-3.5} レートを達成するほか、Fashion-MNIST での経験的検証を行う。

ABSTRACT

Recent applications that arise in machine learning have surged significant interest in solving min-max saddle point games. This problem has been extensively studied in the convex-concave regime for which a global equilibrium solution can be computed efficiently. In this paper, we study the problem in the non-convex regime and show that an \varepsilon--first order stationary point of the game can be computed when one of the player's objective can be optimized to global optimality efficiently. In particular, we first consider the case where the objective of one of the players satisfies the Polyak-Łojasiewicz (PL) condition. For such a game, we show that a simple multi-step gradient descent-ascent algorithm finds an \varepsilon--first order stationary point of the problem in \widetilde{\mathcal{O}}(\varepsilon^{-2}) iterations. Then we show that our framework can also be applied to the case where the objective of the "max-player" is concave. In this case, we propose a multi-step gradient descent-ascent algorithm that finds an \varepsilon--first order stationary point of the game in \widetilde{\cal O}(\varepsilon^{-3.5}) iterations, which is the best known rate in the literature. We applied our algorithm to a fair classification problem of Fashion-MNIST dataset and observed that the proposed algorithm results in smoother training and better generalization.

研究の動機と目的

• ML における非凸領域で出くわす min-max 鞍点問題の解決を動機付ける。例えば GANs、ロバスト/対抗的学習。
• 一般的なナッシュ均衡が存在しない場合に扱いやすい目標として、一次順序のナッシュ均衡（FNE）を定義し、これを標的とする。
• PL条件と非凸凹凹性設定の下で ε-FNE への収束保証を持つアルゴリズムを開発。
• 公平な分類タスクにおいて訓練の滑らかさと一般化の向上を示す実証的検証を提供。

提案手法

• 問題を二人零和ミンマックスゲームとして定式化し、ε-FNE を一次条件を用いて定義する（Definitions 2.1 および 2.3）。
• 滑らかさ（リプシッツ連続な勾配）を仮定し、2つの設定を考える。1つのプレーヤーの目的に PL 条件、もう1方に凹性を持つ設定。
• PL-games の場合、内側最大化のステップと外側の降下を交互に行う Multi-step Gradient Descent-Ascent (GDA) を提案し、Danskin 型の勾配評価（Lemma A.5）に基づく。
• 収束性を証明: Assumptions 2.5 および 3.3 の下で、アルゴリズムは O(ε^{-2}) 回の反復で ε-FNE を達成し、対応する勾配評価を行う（Theorem 3.4 および Corollary 3.5）。
• 非凸凹凹性ゲームの場合、正則化された内側最大化と 2 段階の枠組み（Algorithm 2）を導入し、α に対して Accelerated Projected Gradient Ascent、θ に対して Frank-Wolfe/PGD を用いて ε-FNE を得る、全体で Õ(ε^{-3.5}) 評価回数を達成（Theorem 4.2、Corollary 4.3）。

実験結果

リサーチクエスチョン

• RQ1 一般的な非凸非凹のミンマックスゲームにおいて、ε-一次順序ナッシュ均衡を効率的に計算できるか？
• RQ2 PL 条件下と非凸凹凹性の仮定下で ε-FNE を得るための反復/計算複雑性は何か？
• RQ3 反復的な一階法は、公平な分類や頑健トレーニングのような ML タスクにおいて実用的な利点（安定性、一般化）を提供するか？
• RQ4 内側問題の正則化は、非凸凹凹 min-max 問題の収束保証と実務的性能にどう影響するか？

主な発見

• PL-games では、多段階 GDA アルゴリズムは θ で O(ε^{-2}) 勾配評価、α で O(ε^{-2} log(ε^{-1})) の勾配評価で ε-FNE を達成し、対数因子を含む。
• 非凸凹の凹性ゲームでは、2ステップの枠組みが ε-FNE を Õ(ε^{-3.5}) の総勾配評価で達成（内外のステップを含めた総計として Õ(ε^{-3.5})）。
• 内側最大化は、内側の最適解の非一意性があっても価値関数の勾配を用いて微分可能である（Lemma A.5 および関連結果による）。
• 実証的な適用には、Fashion-MNIST の公正な分類タスクが含まれ、提案フレームワークの下で訓練が滑らかになり、一般化が改善された。
• 非凸凹凹設定での正則化された内 Maximization は収束を助け、確率的トレーニングにおける最悪ケースの性能を改善することを実験で示した。