[论文解读] Fast Extra Gradient Methods for Smooth Structured Nonconvex-Nonconcave Minimax Problems

Sucheol Lee, Donghwan Kim|arXiv (Cornell University)|Jun 4, 2021

Sparse and Compressive Sensing Techniques被引用 6

一句话总结

本文提出快速外梯度（FEG），一种新颖的双时间尺度外梯度方法，结合锚定机制，用于处理平滑结构化的非凸-非凹极小化极大问题。在负共单调性条件下，FEG 实现了对平方梯度范数的加速 $Ó(1/k^2)$ 收敛速率，这是该非凸-非凹设置下的首个此类快速率结果。

ABSTRACT

Modern minimax problems, such as generative adversarial network and adversarial training, are often under a nonconvex-nonconcave setting, and developing an efficient method for such setting is of interest. Recently, two variants of the extragradient (EG) method are studied in that direction. First, a two-time-scale variant of the EG, named EG+, was proposed under a smooth structured nonconvex-nonconcave setting, with a slow $\mathcal{O}(1/k)$ rate on the squared gradient norm, where $k$ denotes the number of iterations. Second, another variant of EG with an anchoring technique, named extra anchored gradient (EAG), was studied under a smooth convex-concave setting, yielding a fast $\mathcal{O}(1/k^2)$ rate on the squared gradient norm. Built upon EG+ and EAG, this paper proposes a two-time-scale EG with anchoring, named fast extragradient (FEG), that has a fast $\mathcal{O}(1/k^2)$ rate on the squared gradient norm for smooth structured nonconvex-nonconcave problems; the corresponding saddle-gradient operator satisfies the negative comonotonicity condition. This paper further develops its backtracking line-search version, named FEG-A, for the case where the problem parameters are not available. The stochastic analysis of FEG is also provided.

研究动机与目标

• 解决在生成对抗网络（GANs）和对抗训练中常见的平滑结构化非凸-非凹极小化极大问题中，缺乏快速一阶方法的问题。
• 克服现有方法（如 EG+）在相同设置下收敛速度缓慢的 $Ó(1/k)$ 问题。
• 弥合非凸-非凹设置下一阶方法中最佳已知下界复杂度与上界复杂度之间的差距。
• 开发一种实用算法，实现快速收敛，且无需预先知晓问题参数。
• 将分析扩展至随机和回溯线搜索变体，以增强在实际应用中的鲁棒性。

提出的方法

• 提出一种双时间尺度锚定外梯度框架（FEG），结合 EG+ 的稳定性与 EAG 的加速性，通过锚定机制实现。
• 引入一种新颖的更新规则，重用 $∇ f(\bm{z}_k)$ 项于 $\bm{z}_{k+1}$ 的更新中，这对处理负共单调性至关重要。
• 采用时变锚定系数 $\beta_k = \frac{1}{k+1}$ 和步长 $\alpha_k = \frac{1}{L}$，以实现最优收敛速率。
• 推导出一种回溯线搜索版本 FEG-A，适用于利普希茨常数 $L$ 未知的场景。
• 通过精心构造的势函数 $V_k$，采用李雅普诺夫函数分析方法，证明收敛性与速率界。
• 提供一种随机变体 S-FEG，其在噪声梯度下对期望平方梯度范数给出了显式界。

实验结果

研究问题

• RQ1 一阶方法能否在平滑结构化的非凸-非凹极小化极大问题上实现 $Ó(1/k^2)$ 的平方梯度范数收敛速率？
• RQ2 对鞍点梯度算子施加负共单调性条件，是否能实现比现有方法更快的收敛速度？
• RQ3 在凸-凹设置中有效的锚定技术，能否被适配以加速非凸-非凹问题中的收敛？
• RQ4 在非单调设置下，稳定化（通过双时间尺度更新）与加速性（通过锚定）之间应如何实现最优平衡？
• RQ5 如何使该方法对未知问题参数（如利普希茨常数）具有鲁棒性？

主要发现

• 在负共单调性条件下，FEG 实现了对期望平方梯度范数的 $Ó(1/k^2)$ 收敛速率，这是该非凸-非凹设置下的首个此类结果。
• 与凸-凹设置下 EAG 的速率界相比，FEG 的速率界约小 27/4 倍，表明实现了显著加速。
• 当算子为共轭单调时，FEG 的收敛速度优于 Halpern 型迭代，表明在有利情况下性能更优。
• 随机变体 S-FEG 在有界噪声下仍保持 $Ó(1/k^2)$ 速率，且对初始值和噪声方差具有显式依赖关系。
• 回溯版本 FEG-A 无需事先知晓问题的利普希茨常数即可保证收敛。
• 理论分析表明，FEG 的上界与已知的 $Ó(1/k^2)$ 下界复杂度之间的差距仅为四倍，表明其近乎最优。