[论文解读] Efficient Methods for Structured Nonconvex-Nonconcave Min-Max Optimization

Jelena Diakonikolas, Constantinos Daskalakis+1 more|arXiv (Cornell University)|Oct 31, 2020

Stochastic Gradient Optimization Techniques参考文献 41被引用 14

一句话总结

该论文提出了一类新型的结构化非凸-非凹极小极大优化问题，并提出了一种广义外梯度算法，在一般 ℓp-范数空间的确定性和随机设置下，可证明收敛至驻点。该方法在迭代和样本复杂度上达到最优界，优于以往针对更局限设置（如变分一致性或弱解存在性）的结果。

ABSTRACT

The use of min-max optimization in adversarial training of deep neural network classifiers and training of generative adversarial networks has motivated the study of nonconvex-nonconcave optimization objectives, which frequently arise in these applications. Unfortunately, recent results have established that even approximate first-order stationary points of such objectives are intractable, even under smoothness conditions, motivating the study of min-max objectives with additional structure. We introduce a new class of structured nonconvex-nonconcave min-max optimization problems, proposing a generalization of the extragradient algorithm which provably converges to a stationary point. The algorithm applies not only to Euclidean spaces, but also to general $\ell_p$-normed finite-dimensional real vector spaces. We also discuss its stability under stochastic oracles and provide bounds on its sample complexity. Our iteration complexity and sample complexity bounds either match or improve the best known bounds for the same or less general nonconvex-nonconcave settings, such as those that satisfy variational coherence or in which a weak solution to the associated variational inequality problem is assumed to exist.

研究动机与目标

• 为解决一般非凸-非凹极小极大问题的不可解性，这些问题是标准一阶方法缺乏保证收敛性的根源。
• 识别一类新的结构化非凸-非凹问题，即使在缺乏凸-凹结构的情况下，也能高效计算驻点。
• 开发一种广义外梯度算法，可在 ℓp-范数的有限维空间（包括欧几里得空间）中收敛至驻点。
• 在随机预言机下建立紧致的迭代和样本复杂度界，优于已知的更局限设置下的界。
• 将理论保证扩展至存在 Minty 变分不等式（MVI）解的情形，从而扩大对现有结构类问题的适用范围。

提出的方法

• 引入一类新的结构化非凸-非凹极小极大问题，其推广了现有类别，如具有变分一致性的或存在 MVI 解的问题。
• 提出一种广义外梯度算法，采用基于 ℓp-范数空间中对偶步的近似邻近更新，利用 ℓp 与 ℓp* 范数之间的对偶性。
• 采用基于 ℓp-范数 p 次幂的李雅普诺夫函数分析收敛性，从而支持迭代复杂度界的望远镜求和论证。
• 推导出寻找 ε-近似驻点的迭代复杂度为 O((L‖u*−u₀‖ₚ/ε)^p)，其中 L 为光滑性参数。
• 在随机梯度具有方差 σ² 的条件下，建立每轮迭代的样本复杂度为 O(pσ^{p*}/ε^{p*})，每步使用 n 个样本。
• 采用参数选择策略（如 β=1/2, a=1/(4Λ), τ^p=1/4），以确保李雅普诺夫函数下降并控制误差项。

实验结果

研究问题

• RQ1 我们能否设计一种在凸-凹情形之外的结构化非凸-非凹极小极大问题中具有可证明收敛性的算法？
• RQ2 在 ℓp-范数空间中，寻找 ε-近似驻点的最优迭代和样本复杂度是多少？
• RQ3 外梯度方法能否推广至任意 ℓp-范数的有限维空间，而不仅限于欧几里得空间？
• RQ4 在随机预言机下，该算法表现如何？达到给定精度所需样本复杂度是多少？
• RQ5 在保持寻找驻点计算可行性的同时，结构假设可被放宽到何种程度？

主要发现

• 所提算法在寻找 ε-近似驻点时，迭代复杂度为 O((L‖u*−u₀‖ₚ/ε)^p)，与更局限设置下的已知界相当或更优。
• 样本复杂度为 O(pσ^{p*}/ε^{p*}) 每轮迭代，总查询次数受 k(1+n) 限制，其中 k 和 n 的选择可满足 ε-精度要求。
• 该方法在随机预言机下具有稳定性，即使梯度以噪声形式估计，仍具有收敛保证。
• 该算法可推广至任意 ℓp-范数空间，突破了欧几里得空间的限制，实现更广泛的应用。
• 分析表明，该问题类至少包含一个驻点（即 SVE 解），从而确保了有意义解的存在性。
• 结果可扩展至存在 Minty 变分不等式（MVI）解的情形，推广了以往关于变分一致性的研究。