[论文解读] A Second-order Equilibrium in Nonconvex-Nonconcave Min-max Optimization: Existence and Algorithm.

Oren Mangoubi, Nisheeth K. Vishnoi|arXiv (Cornell University)|Jun 22, 2020

Stochastic Gradient Optimization Techniques参考文献 26被引用 7

一句话总结

本文引入了一种类二阶均衡——贪婪极小-极大均衡——用于非凸-非凹极小-极大优化问题。它通过仅需有界的一至三阶导数、无需凸性、单调性或特殊初始化的多项式时间算法，证明了此类点的存在性与收敛性。

ABSTRACT

Min-max optimization, with a nonconvex-nonconcave objective function $f: \mathbb{R}^d imes \mathbb{R}^d ightarrow \mathbb{R}$, arises in many areas, including optimization, economics, and deep learning. The nonconvexity-nonconcavity of $f$ means that the problem of finding a global $\varepsilon$-min-max point cannot be solved in $\mathrm{poly}(d, \frac{1}{\varepsilon})$ evaluations of $f$. Thus, most algorithms seek to obtain a certain notion of local min-max point where, roughly speaking, each player optimizes her payoff in a local sense. However, the classes of local min-max solutions which prior algorithms seek are only guaranteed to exist under very strong assumptions on $f$, such as convexity or monotonicity. We propose a notion of a greedy equilibrium point for min-max optimization and prove the existence of such a point for any function such that it and its first three derivatives are bounded. Informally, we say that a point $(x^\star, y^\star)$ is an $\varepsilon$-greedy min-max equilibrium point of a function $f: \mathbb{R}^d imes \mathbb{R}^d ightarrow \mathbb{R}$ if $y^\star$ is a second-order local maximum for $f(x^\star,\cdot)$ and, roughly, $x^\star$ is a local minimum for a greedy optimization version of the function $\max_y f(x,y)$ which can be efficiently estimated using greedy algorithms. The existence follows from an algorithm that converges from any starting point to such a point in a number of gradient and function evaluations that is polynomial in $\frac{1}{\varepsilon}$, the dimension $d$, and the bounds on $f$ and its first three derivatives. Our results do not require convexity, monotonicity, or special starting points.

研究动机与目标

• 为解决非凸-非凹极小-极大优化中缺乏鲁棒的局部解概念的问题，其中标准概念在缺乏凸性或单调性等强假设时会失效。
• 定义一种新的均衡概念——贪婪极小-极大均衡——该概念对一般光滑函数具有良好的结构且可证明存在。
• 设计一种算法，可从任意初始点收敛至此类均衡点，其复杂度在维度和逆精度上为多项式时间。
• 在均衡点的存在性与计算中，消除对凸性、凹性或单调性等强结构假设的依赖。

提出的方法

• 引入贪婪极小-极大均衡点的概念，其中 $ y^* $ 是 $ f(x^*, \cdot) $ 的二阶局部最大化点，且 $ x^* $ 是 $ \max_y f(x, y) $ 的贪婪近似函数的局部最小化点。
• 采用对值函数 $ \max_y f(x, y) $ 的贪婪近似，可通过在 $ y $ 上的迭代最大化步骤高效估计，从而实现在 $ x $ 上的局部最小化。
• 利用梯度与函数值评估，迭代优化 $ (x, y) $，确保收敛至 $ \varepsilon $-贪婪极小-极大均衡点。
• 通过分析 Hessian 矩阵与三阶导数，建立收敛性，确保 $ y $-玩家问题中的稳定性和二阶最优性。
• 依赖于 $ f $ 及其前三个导数的有界性，以控制误差传播，并确保在 $ d $、$ 1/\varepsilon $ 和导数界上的多项式运行时间。
• 设计的算法无需特殊初始化或结构假设，因此可广泛应用于非凸-非凹场景。

实验结果

研究问题

• RQ1 能否在不依赖凸性或单调性的情况下，为非凸-非凹极小-极大问题建立一个定义良好的局部均衡概念？
• RQ2 是否存在一种解概念，能确保 $ y $-玩家问题中的二阶最优性，同时保证 $ x $-玩家在贪婪近似中的局部最优性？
• RQ3 在温和光滑性条件下，能否设计一种算法，在维度和精度上以多项式时间收敛至此类解？
• RQ4 是否可能在不依赖目标函数结构假设的前提下，从任意初始点实现收敛？

主要发现

• 对于任意满足一至三阶导数及函数本身有界的 $ f: \mathbb{R}^d \times \mathbb{R}^d \to \mathbb{R} $，均存在 $ \varepsilon $-贪婪极小-极大均衡点。
• 所提出的算法在梯度与函数评估次数上为 $ d $、$ 1/\varepsilon $ 以及 $ f $ 及其导数的界上的多项式时间，收敛至此类点。
• 该均衡的存在性不依赖于目标函数的凸性、凹性或单调性。
• 该算法无需特殊初始化或对起始点的假设，确保在温和光滑性条件下实现全局收敛。
• 该解概念捕捉了 $ y $-玩家策略中的二阶局部最优性，相比一阶概念提供了更强的稳定性。
• 该方法可在标准极小-极大解未必存在的非凸-非凹场景中，高效计算出具有实际意义的均衡点。