[论文解读] Decomposing Linearly Constrained Nonconvex Problems by a Proximal Primal Dual Approach: Algorithms, Convergence, and Applications

Mingyi Hong|arXiv (Cornell University)|Apr 2, 2016

Sparse and Compressive Sensing Techniques参考文献 45被引用 32

一句话总结

本文提出 Prox-PDA，一种用于求解线性约束非凸优化问题的近端原始-对偶算法。当惩罚参数超过某一阈值时，该算法可实现全局亚线性收敛至驻点，并揭示了 EXTRA 算法在非凸分布式设置下可全局收敛至驻点解。

ABSTRACT

In this paper, we propose a new decomposition approach named the proximal primal dual algorithm (Prox-PDA) for smooth nonconvex linearly constrained optimization problems. The proposed approach is primal-dual based, where the primal step minimizes certain approximation of the augmented Lagrangian of the problem, and the dual step performs an approximate dual ascent. The approximation used in the primal step is able to decompose the variable blocks, making it possible to obtain simple subproblems by leveraging the problem structures. Theoretically, we show that whenever the penalty parameter in the augmented Lagrangian is larger than a given threshold, the Prox-PDA converges to the set of stationary solutions, globally and in a sublinear manner (i.e., certain measure of stationarity decreases in the rate of $\mathcal{O}(1/r)$, where $r$ is the iteration counter). Interestingly, when applying a variant of the Prox-PDA to the problem of distributed nonconvex optimization (over a connected undirected graph), the resulting algorithm coincides with the popular EXTRA algorithm [Shi et al 2014], which is only known to work in convex cases. Our analysis implies that EXTRA and its variants converge globally sublinearly to stationary solutions of certain nonconvex distributed optimization problem. There are many possible extensions of the Prox-PDA, and we present one particular extension to certain nonconvex distributed matrix factorization problem.

研究动机与目标

• 解决在具有结构化分解的非凸线性约束优化问题中，一阶方法缺乏收敛性保证的问题。
• 开发一种原始-对偶算法，通过增广拉格朗日函数的近端逼近实现变量块分解，从而支持可扩展实现。
• 在惩罚参数满足阈值条件下，建立对驻点解的全局亚线性收敛性。
• 将理论分析扩展至证明：此前仅适用于凸情形的 EXTRA 算法，在非凸分布式设置下也能全局收敛至驻点解。
• 通过具体扩展，展示该方法在非凸分布式矩阵分解问题中的适用性。

提出的方法

• 提出一种近端原始-对偶算法（Prox-PDA），其中原始步长通过最小化增广拉格朗日函数的近端逼近实现，支持变量块分解。
• 采用近似对偶上升步长更新对偶变量，确保对偶迭代序列有界且保持收敛性。
• 引入一种结合增广拉格朗日函数与近端项的势函数，当惩罚参数与近端参数满足特定不等式时，可保证其下降。
• 通过证明势函数有下界且其下降速率为 O(1/r)，建立收敛性，从而表明收敛至驻点解为亚线性。
• 利用矩阵结构（如 A^T A）推导出关于惩罚参数与近端参数的条件，以确保下降性与迭代序列的有界性。
• 通过将问题映射为一致性形式，将该框架应用于分布式非凸优化，证明在非凸条件下，该方法与 EXTRA 算法等价。

实验结果

研究问题

• RQ1 一阶原始-对偶方法能否在具有变量分解的非凸线性约束问题中，实现对驻点解的全局亚线性收敛？
• RQ2 惩罚参数与近端参数需满足何种条件，才能保证 Prox-PDA 算法的收敛性？
• RQ3 EXTRA 算法（此前仅知在凸分布式优化中成立）是否能在非凸设置下全局收敛至驻点解？
• RQ4 Prox-PDA 框架能否扩展至非凸分布式矩阵分解问题？
• RQ5 约束矩阵 A 的结构如何影响算法的收敛性与稳定性？

主要发现

• 当惩罚参数 β 超过某一阈值时，Prox-PDA 可全局收敛至驻点解集，收敛速率为 O(1/r) 的亚线性。
• 通过满足涉及 β、γ、c 和 d 的四个耦合不等式，算法可保证势函数的下降性，且可通过适当选择参数始终满足这些条件。
• 原始与对偶迭代序列在极限下有界，这对收敛性分析至关重要。
• 当应用于连通无向图上的分布式非凸优化时，Prox-PDA 退化为 EXTRA 算法，意味着 EXTRA 在非凸情况下也全局收敛至驻点解。
• 分析证明，网络范围内的共识约束在极限下被渐近满足，即 A X^r → 0。
• 该方法被扩展至非凸分布式矩阵分解问题，展示了其在标准形式之外的实际适用性。