[論文レビュー] The Limit Points of (Optimistic) Gradient Descent in Min-Max Optimization

Constantinos Daskalakis, Ioannis Panageas|arXiv (Cornell University)|Jul 11, 2018

Advanced Bandit Algorithms Research参考文献 19被引用数 17

ひとこと要約

本稿は、ミニマックス最適化における勾配降下/上昇（GDA）および予測可能勾配降下/上昇（OGDA）の極限点を分析し、両手法がほとんどすべての初期化において不安定な臨界点を避けることを示している。小さなステップサイズとやや弱い仮定の下で、OGDA安定点の集合はGDA安定点の集合を厳密に含み、さらにその集合は局所的ミニマックス解を厳密に含む。これは、OGDAがより広範な望ましい均衡への収束を示している。

ABSTRACT

Motivated by applications in Optimization, Game Theory, and the training of Generative Adversarial Networks, the convergence properties of first order methods in min-max problems have received extensive study. It has been recognized that they may cycle, and there is no good understanding of their limit points when they do not. When they converge, do they converge to local min-max solutions? We characterize the limit points of two basic first order methods, namely Gradient Descent/Ascent (GDA) and Optimistic Gradient Descent Ascent (OGDA). We show that both dynamics avoid unstable critical points for almost all initializations. Moreover, for small step sizes and under mild assumptions, the set of \{OGDA\}-stable critical points is a superset of \{GDA\}-stable critical points, which is a superset of local min-max solutions (strict in some cases). The connecting thread is that the behavior of these dynamics can be studied from a dynamical systems perspective.

研究の動機と目的

• 非凸・凹なミニマックス問題におけるGDAおよびOGDAダイナミクスの極限点を理解すること。
• これらのダイナミクスの安定な極限点が局所的ミニマックス解に対応するかどうかを特定すること。
• GDAおよびOGDAの安定集合を比較し、それらが局所的ミニマックス均衡とどのように関係するかを評価すること。
• ミニマックス最適化における収束行動を動的システムの観点から考察すること。
• OGDAが実用的応用（例：GANの学習）においてGDAを上回る理由を解明すること。

提案手法

• 動的システム理論の道具を用いて、GDAおよびOGDAのダイナミクスを分析し、臨界点の安定性に注目する。
• GDAを、ステップサイズαを用いてxに関して勾配降下、yに関して勾配上昇を交互に実行するものとして定義する。
• OGDAを、負のモーメンタムを伴う2段階更新として定義する：x_{t+1} = x_t - 2α∇ₓf(x_t,y_t) + α∇ₓf(x_{t-1},y_{t-1})
• 線形安定性解析を用いて、臨界点をGDA安定、OGDA安定、または不安定に分類する。
• 2次元および10次元の関数を用いた数値実験により、収束確率に関する理論的予測を検証する。
• 局所的挙動を制御可能な多項式関数を構築し、臨界点の安定性を分離してテストする。

実験結果

リサーチクエスチョン

• RQ1 GDAおよびOGDAが収束する場合、それらは局所的ミニマックス解に収束するか？
• RQ2 GDA安定臨界点の集合と局所的ミニマックス解の集合の関係は何か？
• RQ3 OGDA安定臨界点の集合は、GDA安定点の集合と比べてどのように異なるか？
• RQ4 GDAおよびOGDAは、ほとんどすべての初期化において不安定な臨界点を避けるか？
• RQ5 OGDAとGDAにおける安定均衡の吸引領域の経験的サイズはどの程度か？

主な発見

• 小さなステップサイズとやや弱い仮定の下で、OGDA安定臨界点の集合はGDA安定臨界点の集合を厳密に含む。
• 一部のケースでは、GDA安定臨界点の集合が局所的ミニマックス解の集合を厳密に含むことが示され、GDAがミニマックスでない均衡に収束しうることを示している。
• 2次元の例では、OGDAは(0,0)に25.8%の確率で収束したが、GDAは(0,0)に一度も収束しなかった。ただし(0,0)は局所的ミニマックスでない。
• 10次元の実験では、OGDAは原点（局所的ミニマックス）に87%の確率で収束したのに対し、GDAは79.3%であった。これはOGDAの吸引領域がより大きいことを示している。
• 10,000個のランダム初期化を用いた数値実験により、GDAおよびOGDAがほとんどすべての初期化において不安定な固定点を避けることが確認された。
• 理論的および経験的結果から、OGDAのダイナミクスはGDAよりも安定均衡への収束範囲が広く、それらが局所的ミニマックス解でない場合でも同様に成り立つことが示された。