[論文レビュー] A Second-order Equilibrium in Nonconvex-Nonconcave Min-max Optimization: Existence and Algorithm.

Oren Mangoubi, Nisheeth K. Vishnoi|arXiv (Cornell University)|Jun 22, 2020

Stochastic Gradient Optimization Techniques参考文献 26被引用数 7

ひとこと要約

本稿は、非凸・非凹なミニマックス最適化における、新たな2次均衡の概念—greedy min-max均衡—を導入する。この均衡の存在を証明し、凸性、単調性、特別な初期化を必要とせず、1〜3階微分が有界である限り、多項式時間アルゴリズムによって収束を示す。

ABSTRACT

Min-max optimization, with a nonconvex-nonconcave objective function $f: \mathbb{R}^d imes \mathbb{R}^d ightarrow \mathbb{R}$, arises in many areas, including optimization, economics, and deep learning. The nonconvexity-nonconcavity of $f$ means that the problem of finding a global $\varepsilon$-min-max point cannot be solved in $\mathrm{poly}(d, \frac{1}{\varepsilon})$ evaluations of $f$. Thus, most algorithms seek to obtain a certain notion of local min-max point where, roughly speaking, each player optimizes her payoff in a local sense. However, the classes of local min-max solutions which prior algorithms seek are only guaranteed to exist under very strong assumptions on $f$, such as convexity or monotonicity. We propose a notion of a greedy equilibrium point for min-max optimization and prove the existence of such a point for any function such that it and its first three derivatives are bounded. Informally, we say that a point $(x^\star, y^\star)$ is an $\varepsilon$-greedy min-max equilibrium point of a function $f: \mathbb{R}^d imes \mathbb{R}^d ightarrow \mathbb{R}$ if $y^\star$ is a second-order local maximum for $f(x^\star,\cdot)$ and, roughly, $x^\star$ is a local minimum for a greedy optimization version of the function $\max_y f(x,y)$ which can be efficiently estimated using greedy algorithms. The existence follows from an algorithm that converges from any starting point to such a point in a number of gradient and function evaluations that is polynomial in $\frac{1}{\varepsilon}$, the dimension $d$, and the bounds on $f$ and its first three derivatives. Our results do not require convexity, monotonicity, or special starting points.

研究の動機と目的

• 非凸・非凹なミニマックス最適化において、凸性や単調性といった強い仮定がなければ機能しない標準的な局所解概念の欠如に対処すること。
• 一般の滑らかな関数に対して、整合的かつ証明可能に存在する新たな均衡概念—greedy min-max均衡—を定義すること。
• 任意の初期点から収束するアルゴリズムを設計し、次元および逆精度に関して多項式時間の複雑度を達成すること。
• 均衡点の存在および計算において、凸性、凹性、単調性といった強い構造的仮定に依存しないこと。

提案手法

• greedy min-max均衡点の概念を導入し、$ y^* $ が $ f(x^*, \cdot) $ の2次局所最大化点であり、$ x^* $ が $ \max_y f(x, y) $ のグリーディ近似の局所最小点であることを定義する。
• 値関数 $ \max_y f(x, y) $ のグリーディ近似を用い、$ y $ における反復的最適化ステップにより効率的に推定可能であり、これにより $ x $ における局所最小化が可能になる。
• 勾配と関数評価を繰り返し用いて $ (x, y) $ を段階的に改善し、$ \varepsilon $-greedy min-max均衡点への収束を保証する。
• ヘッセ行列と3階微分の解析を通じて収束を確立し、$ y $-プレーヤーの問題における安定性と2次最適性を保証する。
• 関数 $ f $ 及びその1〜3階微分の有界性に依存し、誤差伝搬を制御し、次元 $ d $、$ 1/\varepsilon $、および微分の有界値に関して多項式実行時間となるように保証する。
• 特別な初期化や構造的仮定を必要としないアルゴリズムを設計し、非凸・非凹な設定に広く適用可能である。

実験結果

リサーチクエスチョン

• RQ1 凸性や単調性を仮定せず、非凸・非凹なミニマックス問題に対して、明確に定義された局所均衡概念を確立できるか？
• RQ2 $ y $-プレーヤーの問題において2次最適性を保証し、$ x $-プレーヤーのグリーディ近似において局所最適性を満たす解概念が存在するか？
• RQ3 滑らかさの弱い条件のもとで、次元および精度に関して多項式時間で収束するアルゴリズムが存在するか？
• RQ4 目的関数に構造的仮定を課さずに、任意の初期点から収束を達成できるか？

主な発見

• $ f: \mathbb{R}^d \times \mathbb{R}^d \to \mathbb{R} $ が1〜3階微分および関数自体が有界である限り、任意の $ \varepsilon $-greedy min-max均衡点が存在する。
• 提案されたアルゴリズムは、$ d $、$ 1/\varepsilon $、および $ f $ 及びその微分の有界値に多項式的に依存する勾配と関数評価回数で、その点に収束する。
• 目的関数の凸性、凹性、単調性を仮定せず、均衡の存在が保証される。
• 特別な初期化や初期点に関する仮定を必要とせず、滑らかさの弱い条件のもとでグローバル収束が保証される。
• 解概念は $ y $-プレーヤーの戦略における2次局所最適性を捉えており、1次の概念よりも強い安定性を提供する。
• 標準的なミニマックス解が存在しない非凸・非凹な設定においても、意味のある均衡を効率的に計算可能である。