[論文レビュー] Optimality and Stability in Non-Convex-Non-Concave Min-Max Optimization

Guojun Zhang, Pascal Poupart+1 more|arXiv (Cornell University)|Feb 27, 2020

Advanced Optimization Algorithms Research参考文献 4被引用数 4

ひとこと要約

この論文は、局所的ナッシュ均衡、局所的ミニマックス点、局所的ロバスト点を含む非凸で非凹なミニマックスゲームにおける最適点の分析を統一する枠組みを導入する。これら点の停留性を確立し、一次および二次の最適性条件を導出し、従来の勾配アルゴリズムの限界を明らかにするとともに、新しい手法の必要性を示唆する。特に、二次ゲームにおける正確な存在条件と特異な性質が導出される。

ABSTRACT

Motivated by the recent wide applications of non-convex smooth games, we provide a unified approach to optimal points in such games, which includes local Nash equilibria, local minimax points (Jin et al. 2019) and the more general local robust points. To understand these definitions further, we study their corresponding first- and second-order necessary and sufficient conditions and find that they all satisfy stationarity. This motivates us to analyze the local stability of several popular gradient algorithms near corresponding local solutions. Our results indicate the necessity of new algorithms and analysis. As a concrete example, we give the exact existence conditions of local (global) minimax points and local robust points for quadratic games, and demonstrate their many special properties.

研究の動機と目的

• 非凸で滑らかなミニマックスゲームにおける最適点、すなわち局所的ナッシュ均衡、局所的ミニマックス点、局所的ロバスト点の理解を統一すること。
• これらの最適点に対する一次および二次の必要・十分条件を導出し、それらがすべて停留性を満たすことを示すこと。
• 標準的な勾配アルゴリズムがこれらの解の周囲で局所的安定性を確保できないことの分析を行い、それらの不十分性と、新たなアルゴリズムの必要性を明らかにすること。
• 二次ゲームにおける局所的（大域的）ミニマックス点およびロバスト点の正確な存在条件を確立し、それらが示す特異な構造的性質を解明すること。

提案手法

• 非凸で非凹なゲームにおける最適点の一般クラスを形式化し、局所的ナッシュ点、局所的ミニマックス点、局所的ロバスト点を含む。
• 各タイプの最適点に対する一次停留性条件と二次最適性条件を導出する。
• 勾配降下法・勾配上昇法などの標準的勾配ベースアルゴリズムの局所的安定性を分析し、最適点への収束に失敗することを示す。
• 行列論的条件を用いて、二次ゲームにおける局所的および大域的ミニマックス点およびロバスト点の存在を特徴付ける枠組みを導入する。
• 行列解析を用いて、二次ゲームにおけるミニマックス点およびロバスト点の存在に必要な正確な条件を導出する。
• これらの最適点が、ゲームの双線形的および二次的構造に起因して、特別な構造的および安定性的性質を示すことを示す。

実験結果

リサーチクエスチョン

• RQ1 非凸で滑らかなゲームにおける局所的ナッシュ均衡、局所的ミニマックス点、局所的ロバスト点の間で共通する最適性条件と相違点は何か？
• RQ2 なぜ標準的勾配アルゴリズムは非凸で非凹な設定では最適点に収束しないのか。また、それらの局所的安定性を保証する条件は何か？
• RQ3 どのような正確な条件下で、二次ゲームにおける局所的（大域的）ミニマックス点およびロバスト点が存在するか？
• RQ4 三次の最適点タイプにおける二次最適性条件は、どのように相違するか？
• RQ5 二次ゲームにおけるミニマックス点およびロバスト点は、どのような特異な構造的性質を示すか？

主な発見

• 検討されたすべての最適点—局所的ナッシュ点、局所的ミニマックス点、局所的ロバスト点—は一次停留性条件を満たす。
• これらの点に対する二次最適性条件が導出され、局所的最適性の必要・十分条件としての有効性が示された。
• 標準的勾配アルゴリズムは最適点周辺での局所的安定性を保証できないことが判明し、これにより新たなアルゴリズム設計の必要性が示された。
• 行列論的基準を用いて、二次ゲームにおける局所的および大域的ミニマックス点およびロバスト点の正確な存在条件が導出された。
• これらの最適点は、ゲームのヘッセ行列と勾配構造の双線形的および二次的性質に起因して、特別な構造的性質を示す。
• 解析により、二次ゲームにおける最適点の安定性および存在性が、ゲームのヘッセ行列に関する特定の固有値および定性条件によって支配されていることが明らかになった。