[论文解读] A Single-Loop Smoothed Gradient Descent-Ascent Algorithm for Nonconvex-Concave Min-Max Problems

Jiawei Zhang, Peijun Xiao+2 more|arXiv (Cornell University)|Oct 29, 2020

Sparse and Compressive Sensing Techniques参考文献 37被引用 17

一句话总结

本文提出了一种用于非凸-凹极小化-极大化问题的单循环平滑梯度下降-上升（GDA）算法，通过平滑方案稳定振荡。该算法在最小化非凸函数的逐点最大值时达到最优的 $O(1/\theta^2)$ 迭代复杂度，在一般非凸-凹问题中达到 $O(1/\theta^4)$，优于先前的多循环方法。

ABSTRACT

Nonconvex-concave min-max problem arises in many machine learning applications including minimizing a pointwise maximum of a set of nonconvex functions and robust adversarial training of neural networks. A popular approach to solve this problem is the gradient descent-ascent (GDA) algorithm which unfortunately can exhibit oscillation in case of nonconvexity. In this paper, we introduce a "smoothing" scheme which can be combined with GDA to stabilize the oscillation and ensure convergence to a stationary solution. We prove that the stabilized GDA algorithm can achieve an $O(1/ε^2)$ iteration complexity for minimizing the pointwise maximum of a finite collection of nonconvex functions. Moreover, the smoothed GDA algorithm achieves an $O(1/ε^4)$ iteration complexity for general nonconvex-concave problems. Extensions of this stabilized GDA algorithm to multi-block cases are presented. To the best of our knowledge, this is the first algorithm to achieve $O(1/ε^2)$ for a class of nonconvex-concave problem. We illustrate the practical efficiency of the stabilized GDA algorithm on robust training.

研究动机与目标

• 解决非凸-凹极小化-极大化问题中梯度下降-上升（GDA）的振荡问题。
• 为最小化非凸函数的逐点最大值实现最优的迭代复杂度 $O(1/\epsilon^2)$。
• 设计一种适用于大规模和分布式学习的单循环、多块算法。
• 提升神经网络鲁棒对抗训练中的收敛性和稳定性。

提出的方法

• 引入一种平滑方案，通过正则化更新方向来稳定GDA。
• 采用单循环结构，每次迭代使用闭式更新，避免内层循环。
• 使用概率单纯形公式将有限最大值问题转化为凹极小化-极大化问题。
• 在对抗训练中通过在概率单纯形上进行梯度上升来近似内层最大化。
• 采用 $O(d\log d)$ 算法对单纯形进行投影，以实现高效计算。
• 将该方法扩展至多块设置，适用于分布式优化。

实验结果

研究问题

• RQ1 单循环GDA算法能否在非凸-凹极小化-极大化问题中实现 $O(1/\epsilon^2)$ 的迭代复杂度？
• RQ2 平滑是否能稳定GDA并在非凸设置中防止振荡？
• RQ3 该算法能否扩展至多块和分布式优化场景？
• RQ4 平滑GDA是否在收敛速度和鲁棒性方面优于现有多循环算法？

主要发现

• 平滑GDA在最小化非凸函数的逐点最大值时达到 $O(1/\epsilon^2)$ 的迭代复杂度，与理论下界一致。
• 对于一般非凸-凹问题，该算法实现 $O(1/\epsilon^4)$ 的迭代复杂度，优于先前的 $O(1/\epsilon^{2.5})$ 边界。
• 该算法是首个在该类问题中实现 $O(1/\epsilon^2)$ 复杂度的单循环方法。
• 在MNIST和CIFAR10上的实验表明，收敛速度更快，且鲁棒准确率（38.5%）与现有方法相当。
• 在CIFAR10上，30个周期后，该方法的收敛速度优于文献[20]中的算法。
• 平滑GDA在鲁棒对抗训练中表现优异，仅需极少超参数调优即可实现最先进性能。