[论文解读] First-order Convergence Theory for Weakly-Convex-Weakly-Concave Min-max Problems

Mingrui Liu, Hassan Rafique+2 more|arXiv (Cornell University)|Oct 24, 2018

Sparse and Compressive Sensing Techniques参考文献 51被引用 21

一句话总结

本文提出了一种基于不精确邻近点框架的弱凸-弱凹极小极大问题的一阶收敛理论，该框架通过求解一系列强单调变分不等式来实现。该理论首次建立了对近似平稳解的非渐近收敛速率，并在利普希茨连续条件下实现了Õ(Lρ/ε²)的复杂度边界，显著优于先前的外梯度方法在ε-平稳性下所需的O(1/ε⁴)复杂度。

ABSTRACT

In this paper, we consider first-order convergence theory and algorithms for solving a class of non-convex non-concave min-max saddle-point problems, whose objective function is weakly convex in the variables of minimization and weakly concave in the variables of maximization. It has many important applications in machine learning including training Generative Adversarial Nets (GANs). We propose an algorithmic framework motivated by the inexact proximal point method, where the weakly monotone variational inequality (VI) corresponding to the original min-max problem is solved through approximately solving a sequence of strongly monotone VIs constructed by adding a strongly monotone mapping to the original gradient mapping. We prove first-order convergence to a nearly stationary solution of the original min-max problem of the generic algorithmic framework and establish different rates by employing different algorithms for solving each strongly monotone VI. Experiments verify the convergence theory and also demonstrate the effectiveness of the proposed methods on training GANs.

研究动机与目标

• 解决目标函数在x上弱凸、在y上弱凹的极小极大问题中缺乏非渐近收敛保证的问题。
• 提出一种通用的算法框架，确保在非凸-非凹设置下收敛至近似ε-平稳解。
• 利用不同子问题求解器，在不同设置（随机、确定性、有限和）下建立紧致的迭代与梯度复杂度边界。
• 为一阶方法在训练生成对抗网络及其他非凸非凹极小极大问题中的有效性提供理论依据。

提出的方法

• 提出一种不精确邻近点方法，通过添加一个强单调映射，将原始的弱单调变分不等式（VI）重构为一系列强单调VI。
• 将每个强单调VI的解作为原始问题的近似解，通过间隙和距离度量分析收敛性。
• 在子问题中采用不同的求解器——随机次梯度、梯度下降、外梯度、内维尔加速方法及方差缩减方法，以推导出不同的复杂度速率。
• 将ε-平稳解定义为投影次梯度范数有界于ε的点，确保收敛至一阶平稳点。
• 引入近似(ε, cε)-间隙解的概念，弥合SVI间隙与平稳性之间的差距，实现更紧致的复杂度分析。
• 利用梯度映射的利普希茨连续性及可行集的紧致性，推导出解间隙与收敛速率的统一有界性。

实验结果

研究问题

• RQ1 我们能否为弱凸-弱凹极小极大问题建立对近似平稳解的非渐近收敛？
• RQ2 在不同设置（随机、确定性、有限和）下，实现ε-平稳性所需的最优迭代或梯度复杂度是多少？
• RQ3 所提出的不精确邻近点框架与现有外梯度方法相比，在收敛速率上有何差异？
• RQ4 该框架能否在生成对抗网络训练等实际问题中应用并提供理论保证？
• RQ5 在非凸非凹设置下，SVI间隙与平稳性度量之间存在何种关系？

主要发现

• 所提出的算法框架在利普希茨连续条件下，实现了对ε-平稳解的非渐近收敛，复杂度为Õ(Lρ/ε²)，显著优于标准外梯度方法的O(1/ε⁴)复杂度。
• 在具有n个分量的有限和设置下，复杂度为Õ(nρ²/ε² + L²/ε²)，与有限和非凸优化的最优已知速率一致。
• 对于随机和确定性设置，复杂度为O(max(ρ⁶, ρ³)/ε⁶)，这是首个针对弱凸-弱凹极小极大问题的此类边界。
• 该框架表明，ε-平稳解是相应SVI的εD-间隙解，但反之不成立，从而明确了平稳性与间隙度量之间的区别。
• 实验结果验证了理论收敛行为，并展示了该方法在训练生成对抗网络中的有效性，证实了理论的实际应用价值。
• 分析表明，现有外梯度方法在相同假设下无法实现优于O(1/ε⁴)的复杂度以达到ε-平稳性，凸显了所提框架的优越性。