[论文解读] Gradient Primal-Dual Algorithm Converges to Second-Order Stationary Solutions for Nonconvex Distributed Optimization

Mingyi Hong, Jason D. Lee+1 more|arXiv (Cornell University)|Feb 25, 2018

Distributed Control Multi-Agent Systems参考文献 37被引用 21

一句话总结

本文提出了梯度原始-对偶算法（GPDA）和梯度交替方向乘子法（GADMM），用于具有线性约束的非凸分布式优化。证明了在随机初始化下，两种算法以概率1收敛至二阶平稳解——这是首次在仅使用原始-对偶设置中的一阶信息求解非凸问题时，实现对这类解的全局收敛结果。

ABSTRACT

In this work, we study two first-order primal-dual based algorithms, the Gradient Primal-Dual Algorithm (GPDA) and the Gradient Alternating Direction Method of Multipliers (GADMM), for solving a class of linearly constrained non-convex optimization problems. We show that with random initialization of the primal and dual variables, both algorithms are able to compute second-order stationary solutions (ss2) with probability one. This is the first result showing that primal-dual algorithm is capable of finding ss2 when only using first-order information, it also extends the existing results for first-order, but primal-only algorithms. An important implication of our result is that it also gives rise to the first global convergence result to the ss2, for two classes of unconstrained distributed non-convex learning problems over multi-agent networks.

研究动机与目标

• 解决具有线性约束的非凸分布式优化问题中寻找二阶平稳解的挑战。
• 克服仅使用一阶原始变量方法可能收敛至严格鞍点的局限性。
• 在仅使用一阶信息的前提下，为非凸设置下的原始-对偶算法建立全局收敛保证。
• 将理论收敛结果扩展至多智能体网络上的无约束分布式非凸学习问题。
• 为一阶原始-对偶方法在非凸优化中实现对二阶平稳点的全局收敛提供理论基础。

提出的方法

• 提出用于求解线性约束非凸优化问题的梯度原始-对偶算法（GPDA）和梯度交替方向乘子法（GADMM）。
• 对原始变量和对偶变量均使用一阶梯度信息，基于增广拉格朗日框架进行迭代更新。
• 引入原始变量和对偶变量的随机初始化策略，以确保以概率1收敛至二阶平稳点。
• 利用目标函数的Hessian利普希茨连续性和光滑性假设，在较弱的正则性条件下建立收敛性。
• 应用矩阵扰动理论和特征值分析，证明增广拉格朗日函数的Hessian矩阵在约束矩阵的零空间中保持半正定。
• 采用李雅普诺夫型分析，表明算法以概率1逃离严格鞍点并收敛至二阶平稳点。

实验结果

研究问题

• RQ1 仅使用一阶信息的原始-对偶算法能否在非凸分布式优化中收敛至二阶平稳解？
• RQ2 对原始变量和对偶变量进行随机初始化，是否能确保在非凸问题中以概率1收敛至二阶平稳解？
• RQ3 一阶原始-对偶方法是否能在一阶原始变量方法失效的场景下，实现对二阶平稳解的全局收敛？
• RQ4 GPDA和GADMM在具有线性约束的非凸分布式设置下的理论收敛行为如何？
• RQ5 所提出的算法能否在多智能体网络上的无约束分布式非凸学习问题中实现对二阶平稳解的全局收敛？

主要发现

• 在随机初始化下，GPDA和GADMM以概率1收敛至二阶平稳解，即使在非凸设置下亦成立。
• 本文首次建立了非凸优化中一阶原始-对偶算法实现对二阶平稳点的全局收敛结果。
• 数值实验表明，GPDA能够成功逃离严格鞍点并收敛至更低的目标值，尤其当惩罚参数β足够大时表现更优。
• 目标函数 $ f(x) = x^T Q x + rac{1}{4} orm{x}^4_4 $ 被证明是 $ 5 au $-光滑且 $ 6 ilde{ au} $-Hessian利普希茨连续，其中 $ au o ext{矩阵 } Q ext{ 的最大特征值} $。
• 当β过小时，GPDA发散，验证了理论要求β必须足够大的结论。
• 在二维测试案例中，GPDA收敛至约束线上靠近局部最小值的点，成功避开了原点处的严格鞍点。