[論文レビュー] Optimality and Stability in Non-Convex Smooth Games

Guojun Zhang, Pascal Poupart+1 more|arXiv (Cornell University)|Feb 27, 2020

Stochastic Gradient Optimization Techniques参考文献 69被引用数 6

ひとこと要約

本稿は、非凸スムーズゲームにおける局所ミニマックス点の包括的分析を提供し、それらが鞍点とどのように関係するかを確立するとともに、局所的ロバストポイント（LRPs）という新しい概念を導入する。非退化な状況では勾配法（例えばOGDやEG）が局所ミニマックス点に収束することがあるが、一般には不安定性のため失敗することが多く、従来のミニマックス点を超える新しいアルゴリズムや解の概念の導入が不可欠であることが示された。

ABSTRACT

Convergence to a saddle point for convex-concave functions has been studied for decades, while recent years has seen a surge of interest in non-convex (zero-sum) smooth games, motivated by their recent wide applications. It remains an intriguing research challenge how local optimal points are defined and which algorithm can converge to such points. An interesting concept is known as the local minimax point, which strongly correlates with the widely-known gradient descent ascent algorithm. This paper aims to provide a comprehensive analysis of local minimax points, such as their relation with other solution concepts and their optimality conditions. We find that local saddle points can be regarded as a special type of local minimax points, called uniformly local minimax points, under mild continuity assumptions. In (non-convex) quadratic games, we show that local minimax points are (in some sense) equivalent to global minimax points. Finally, we study the stability of gradient algorithms near local minimax points. Although gradient algorithms can converge to local/global minimax points in the non-degenerate case, they would often fail in general cases. This implies the necessity of either novel algorithms or concepts beyond saddle points and minimax points in non-convex smooth games.

研究の動機と目的

• 非凸ゼロサムゲームにおける局所最適性の理論的基盤を明確化すること。標準的な定義（例えば鞍点）では不十分である。
• 局所鞍点と局所ミニマックス点のより深い関係を確立し、わずかな連続性の仮定のもとで前者が特殊ケースであることを示すこと。
• 局所的ロバストポイント（LRPs）の概念を導入・形式化し、局所ミニマックス点や局所マキシマックス点を含むより広い定常解のクラスを提供すること。
• 勾配ベースのアルゴリズム（例：OGD、EG）が局所最適点の近傍で収束安定性を示すかどうかを分析すること、特に2次ゲームにおいて。
• 標準的な勾配法が一般にLRPsに収束しないこと、たとえ単純な2次設定においても、先進的な最適化戦略の必要性を強調すること。

提案手法

• 無限小のロバスト性を用いて、局所的ロバストポイント（LRPs）を局所ミニマックス点の一般化として定義し、方向微分と射影作用素を用いる。
• 局所ミニマックス点の1次および2次最適性条件を導出し、制約付き領域や非対角行列のヘッセ行列を含む一般化を図る。
• 2次ゲームのモデルを用いて、弱い仮定のもとで局所ミニマックス点がこのクラスにおいてグローバルミニマックス点と等価であることを示す。
• 勾配ダイナミクス（例：OGD、EG）のヤコビアンを分析し、収束挙動を特徴付ける特性方程式を導出する。
• 2次元2次ゲームにおける反例を構築し、座標独立のステップサイズではOGDがLRPsに収束できないことを証明する。
• 座標依存のステップサイズ（例：Adamで用いられるもの）がLRPsの近傍で安定性を確保するために必要であることを示し、標準的な自己適応的手法の限界を示唆する。

実験結果

リサーチクエスチョン

• RQ1 局所鞍点と局所ミニマックス点の関係は何か？また、これらは特殊ケースとして見なせるか？
• RQ2 制約付き設定において、局所ミニマックス点は1次および2次最適性条件で特徴付けられるか？
• RQ3 2次ゲームにおいて、局所ミニマックス点はグローバルミニマックス点と等価か？
• RQ4 なぜ標準的な勾配法（例：OGD、EG）は一般に局所ミニマックス点やロバストポイントに収束しないのか？
• RQ5 局所的ロバストポイント（LRPs）は、局所ミニマックス点と局所マキシマックス点の両方を含む、より広い解の概念として機能できるか？

主な発見

• 弱い連続性の仮定のもとで、局所鞍点は局所ミニマックス点の特殊ケースであり、特に「一様に局所的ミニマックス点」と呼ばれる。
• 非凸2次ゲームでは、局所ミニマックス点は明確な意味でグローバルミニマックス点と等価である。
• 局所ミニマックス点は定常点であり、本稿ではそれらの1次および2次必要・十分条件を提供する。
• 勾配ベースのアルゴリズム（例：OGD、EG）は一般に局所的ロバストポイント（LRPs）に収束しない。たとえ単純な2次元2次ゲームにおいても同様である。
• OGDがLRPsに収束しない理由は、独立した座標間で対立する安定性制約が存在するためであり、座標依存のステップサイズの必要性を示唆する。
• 局所的ロバストポイント（LRPs）は局所ミニマックス点を厳密に一般化し、ミニマックスでもマキシマックスでもないが安定な同時GDA解を含むため、より広範な解の枠組みを示唆する。