[論文レビュー] Minmax Optimization: Stable Limit Points of Gradient Descent Ascent are Locally Optimal.

Chi Jin, Praneeth Netrapalli+1 more|arXiv (Cornell University)|Feb 2, 2019

Stochastic Gradient Optimization Techniques被引用数 48

ひとこと要約

本稿では、非凸・非凹なミニマックス最適化におけるより優れた最適性基準として、局所的ミニマックス点を導入し、上昇ステップサイズが優勢である場合に勾配降下上昇（GDA）がこれらの点に収束することを示している。この条件下で、GDAのすべての安定限界点が、ゲーム理論的に意味のある意味で局所的に最適であることが確立されている。

ABSTRACT

Minmax optimization, especially in its general nonconvex-nonconcave formulation, has found extensive applications in modern machine learning frameworks such as generative adversarial networks (GAN), adversarial training and multi-agent reinforcement learning. Gradient-based algorithms, in particular gradient descent ascent (GDA), are widely used in practice to solve these problems. Despite the practical popularity of GDA, however, its theoretical behavior has been considered highly undesirable. Indeed, apart from possiblity of non-convergence, recent results (Daskalakis and Panageas, 2018; Mazumdar and Ratliff, 2018; Adolphs et al., 2018) show that even when GDA converges, its stable limit points can be points that are not local Nash equilibria, thus not game-theoretically meaningful. In this paper, we initiate a discussion on the proper optimality measures for minmax optimization, and introduce a new notion of local optimality---local minmax---as a more suitable alternative to the notion of local Nash equilibrium. We establish favorable properties of local minmax points, and show, most importantly, that as the ratio of the ascent step size to the descent step size goes to infinity, stable limit points of GDA are exactly local minmax points up to degenerate points, demonstrating that all stable limit points of GDA have a game-theoretic meaning for minmax problems.

研究の動機と目的

• ミニマックス最適化における勾配降下上昇（GDA）の理論的欠陥に対処し、安定限界点が意味のあるナッシュ均衡に対応しない可能性があること。
• 非凸・非凹な設定において、局所的ナッシュ均衡という概念の限界を特定し、その点が安定的または最適な結果を表さない可能性があること。
• 現代の機械学習応用におけるミニマックス問題に対して、より適切な最適性基準として局所的ミニマックス点を提案すること。
• 特定のステップサイズ比の条件下で、GDAの安定限界点が局所的ミニマックス点であることを示し、ゲーム理論的関連性を保証すること。
• GAN や敵対的訓練などの応用におけるGDAの実践的成功を理論的に裏付けるために、収束先が意味のある均衡に一致することを示すこと。

提案手法

• 局所的ナッシュ均衡の改善として、連携戦略空間における局所的ミニマックス性を特徴づける「局所的ミニマックス点」の概念を導入する。
• 上昇ステップサイズと降下ステップサイズの比を変化させた状況下での勾配降下上昇（GDA）のダイナミクスを分析し、特に上昇ステップサイズが優勢である領域に注目する。
• 安定性解析を用いてGDAの限界点を特徴づけ、退化ケースを除き、それらが局所的ミニマックス点と一致することを示す。
• 微分方程式の近似とリャプノフに基づく議論を用いて、GDAの軌道の収束挙動を分析する。
• 上昇ステップサイズと降下ステップサイズの比が無限大に近づく条件のもとで、すべての安定限界点が局所的ミニマックス点であることを確立する。
• ラグランジュ関数または報酬関数のヘッセ行列を含む局所最適化条件を用いて、局所的ミニマックスの概念を形式化する。

実験結果

リサーチクエスチョン

• RQ1 非凸・非凹なミニマックス問題におけるGDAの安定限界点は、ゲーム理論的に意味を持つと保証できるか？
• RQ2 一般のミニマックス問題において、局所的ナッシュ均衡という概念は最適性基準として不十分ではないか？
• RQ3 GDAの実際の挙動とより整合性のとれた、より適切な最適性概念は存在するか？
• RQ4 どのような条件下でGDAは、意味のあるゲーム理論的意味で局所的に最適な点に収束するのか？
• RQ5 上昇ステップサイズと降下ステップサイズの比は、GDAにおける安定限界点の性質にどのように影響するか？

主な発見

• 局所的ミニマックス点は、非凸・非凹なミニマックス問題において、局所的ナッシュ均衡よりもより適切な最適性基準であると導入された。
• 上昇ステップサイズと降下ステップサイズの比が無限大に近づく限り、GDAのすべての安定限界点が局所的ミニマックス点であることが示された（退化点を除く）。
• この結果により、提案された最適性基準のもとで、GDAがゲーム理論的に意味のある解に収束することが保証された。
• 本稿は、局所的ナッシュ均衡が実際には不安定または意味を持たないことがある一方で、局所的ミニマックス点はこうした欠陥を回避できることを示した。
• 理論的枠組みにより、GAN や敵対的訓練などの応用におけるGDAの経験的成功を裏付けるものであり、収束先が意味のある均衡に一致することを示した。
• 分析により、ステップサイズ比が、意味のある最適解への収束を保証するための重要な制御パラメータであることが明らかになった。