[論文レビュー] Solving Non-Convex Non-Concave Min-Max Games Under Polyak-Łojasiewicz Condition

Maziar Sanjabi, Meisam Razaviyayn+1 more|arXiv (Cornell University)|Dec 7, 2018

Stochastic Gradient Optimization Techniques参考文献 6被引用数 20

ひとこと要約

本稿では、一方のプレイヤーの目的関数がポリャク＝ロジャーヴィッチ（PL）条件を満たす非凸非凹なミニマックスゲームを解くための、複数ステップの勾配降下・上昇アルゴリズムを提案する。本稿では、アルゴリズムが $\varepsilon$-停留点を $\widetilde{\mathcal{O}}(\varepsilon^{-2})$ ステップで見つけられることを確立しており、これは対数要因を除いて既知の下界と一致する。

ABSTRACT

In this short note, we consider the problem of solving a min-max zero-sum game. This problem has been extensively studied in the convex-concave regime where the global solution can be computed efficiently. Recently, there have also been developments for finding the first order stationary points of the game when one of the player's objective is concave or (weakly) concave. This work focuses on the non-convex non-concave regime where the objective of one of the players satisfies Polyak-Łojasiewicz (PL) Condition. For such a game, we show that a simple multi-step gradient descent-ascent algorithm finds an $\varepsilon$--first order stationary point of the problem in $\widetilde{\mathcal{O}}(\varepsilon^{-2})$ iterations.

研究の動機と目的

• 標準の凸・凹仮定が成り立たない非凸非凹なミニマックスゲームにおける一次の停留点を求める課題に対処すること。
• 一方のプレイヤーの目的関数にポリャク＝ロジャーヴィッチ（PL）条件を適用することで、凸・凹な領域を超えた収束保証を拡張すること。
• 非凸最適化の理論的下界に近い反復複雑度を持つ効率的なアルゴリズムの開発。
• PL 条件の下で複数ステップの勾配降下・上昇法の収束解析を行い、近似的な停留性を保証すること。

提案手法

• 内側ループで最大化者 $\alpha$ を解き、外側ループで最小化者 $\theta$ を更新する、交互に実行される複数ステップの勾配降下・上昇アルゴリズムを提案する。
• 関数 $g(\theta) = \max_\alpha f(\theta,\alpha)$ の勾配を、近似最大化者における $f$ の勾配によって近似するためのダンスキン型の議論を用いる。
• 内側上昇ステップには固定ステップサイズ $\eta_1 = 1/L_{22}$ を、外側降下ステップには $\eta_2 = 1/L$ を用いる。ここで $L = L_{11} + L_{12}^2/\mu$ である。
• 内側ループの停止基準を、PL 条件に基づき、$\|\nabla_\alpha f(\theta_t, \alpha_K)\| \leq \varepsilon$ および $\|\nabla_\theta f(\theta_t, \alpha_K) - \nabla g(\theta_t)\| \leq \varepsilon/4$ を満たすように定める。
• リャプノフ関数を用いた収束解析により、外側反復 $T = \mathcal{O}(\varepsilon^{-2})$ 回で $\varepsilon$-停留点に収束することを示す。
• 複雑度の上限を $\widetilde{\mathcal{O}}(\varepsilon^{-2})$ と導出し、非凸最適化における既知の下界と対数要因を除いて一致することを確認する。

実験結果

リサーチクエスチョン

• RQ1 非凸非凹なミニマックスゲームにおける $\varepsilon$-停留点を求める際、近似的に最適な反復複雑度を達成できるか？
• RQ2 内側の最大化目的関数にポリャク＝ロジャーヴィッチ（PL）条件が成り立つ場合、凹性が欠如している状況でも効率的な収束が可能か？
• RQ3 単純な複数ステップの勾配降下・上昇アルゴリズムが、非凸問題における理論的下界 $\mathcal{O}(\varepsilon^{-2})$ を達成できるか？
• RQ4 内側ループの精度が、外側降下プロセス全体の収束速度にどのように影響するか？

主な発見

• アルゴリズムは $\widetilde{\mathcal{O}}(\varepsilon^{-2})$ ステップで $\varepsilon$-停留点を達成し、非凸最適化における既知の下界と対数要因を除いて一致する。
• 関数 $g(\theta)$ の勾配の近似精度を確保するため、内側ループには $K = \mathcal{O}(\log(1/\varepsilon))$ ステップが必要である。
• 外側ループは $T = \mathcal{O}(\varepsilon^{-2})$ ステップで $\varepsilon$-停留性を達成し、ステップサイズ $\eta_2 = 1/L$（$L = L_{11} + L_{12}^2/\mu$）を用いる。
• 内側ループが $K \geq N_1(\varepsilon) = \frac{2\log(1/\varepsilon) + \log(16\bar{L}^2\Delta/\mu)}{\log(1/\rho)}$ を満たす場合、勾配近似誤差は $\varepsilon/4$ 以下に抑えられる。
• 両方の勾配の計算コストが同程度の場合、全体の複雑度は $\mathcal{O}(\varepsilon^{-2}\log(1/\varepsilon))$ となり、理論的下界から対数要因しか離れていない。
• 従来の $\alpha$ に関して強い凹性を仮定した研究から、より一般な PL 条件への拡張がなされ、一部の非凸関数に対しても成立する。