[论文解读] Convergence rate bounds for a proximal ADMM with over-relaxation stepsize parameter for solving nonconvex linearly constrained problems

Max L. N. Gonçalves, Jefferson G. Melo+1 more|arXiv (Cornell University)|Feb 7, 2017

Sparse and Compressive Sensing Techniques参考文献 26被引用 34

一句话总结

该论文为带有超松弛参数 θ ∈ (0,2) 的近端 ADMM 变体在非凸线性约束问题上建立了 O(ρ⁻²) 的逐点迭代复杂度界。它将收敛速率分析扩展至标准范围 (0, (1+√5)/2) 之外，证明了在 f（非凸、下确界连续）和 g（具有利普希茨连续梯度）的较弱假设下，全局收敛性和复杂度。

ABSTRACT

This paper establishes convergence rate bounds for a variant of the proximal alternating direction method of multipliers (ADMM) for solving nonconvex linearly constrained optimization problems. The variant of the proximal ADMM allows the inclusion of an over-relaxation stepsize parameter belonging to the interval $(0,2)$. To the best of our knowledge, all related papers in the literature only consider the case where the over-relaxation parameter lies in the interval $(0,(1+\sqrt{5})/2)$.

研究动机与目标

• 解决在非凸设置下，对于超松弛参数 θ > (1+√5)/2 的近端 ADMM 缺乏收敛速率界的问题。
• 将迭代复杂度分析扩展至 f 为适当、下确界连续，且 g 具有利普希茨连续梯度的非凸问题。
• 在对惩罚参数 β 和近端项 G、H 的假设更宽松的条件下，提供逐点迭代复杂度界。
• 通过使用超松弛 ADMM，为更广泛的非凸线性约束优化问题类建立全局收敛性和复杂度。
• 通过证明在 θ ∈ (0,2) 范围内 O(ρ⁻²) 的复杂度，填补理论空白，该范围此前在非凸问题中未被文献覆盖。

提出的方法

• 提出一种带有超松弛参数 θ ∈ (0,2) 的近端 ADMM 变体，通过引入近端项 G 和 H 来稳定子问题。
• 使用非凸 f 的扩展次微分概念，使其在不依赖凸性的情况下也能建立最优性条件。
• 定义一个包含原始变量和对偶变量迭代的类李雅普诺夫函数，以追踪进展并建立收敛性。
• 对类李雅普诺夫函数使用错位求和技巧，推导出对偶变量差值范数的界。
• 应用矩阵范数不等式和谱界（例如 B*B 的 σ₊(B)）来控制迭代间的误差传播。
• 通过平均化论证和证明在前 k 次迭代中存在一个满足 ρ-最优性的良好迭代点，推导出逐点复杂度。

实验结果

研究问题

• RQ1 能否在非凸问题中为超松弛参数 θ > (1+√5)/2 的近端 ADMM 建立收敛速率界？
• RQ2 f、g、β、G、H 和 θ 的哪些条件能确保全局收敛性和 O(ρ⁻²) 的逐点迭代复杂度？
• RQ3 在非凸设置下，与标准 ADMM 相比，包含超松弛参数 θ ∈ (0,2) 如何影响收敛性和复杂度？
• RQ4 能否在不假设 f 凸性的情况下，通过广义次微分将分析扩展至非凸 f？
• RQ5 惩罚参数 β 和近端项 G、H 在确保收敛性和复杂度界方面起什么作用？

主要发现

• 该论文为带有超松弛参数 θ ∈ (0,2) 的近端 ADMM 变体在非凸设置下建立了 O(ρ⁻²) 的逐点迭代复杂度界。
• 收敛性分析在 f 为适当、下确界连续，且 g 具有利普希茨连续梯度的假设下成立。
• 该界在近端 ADMM 的一个子类中实现，其中 β 足够大，G 为任意半正定矩阵，H 为单位矩阵的较大正倍数。
• 该分析证明了全局收敛至一个满足最优性条件的点，其原始不可行性、对偶不可行性和次梯度违反的残差范数均 ≤ ρ。
• 该结果将先前的复杂度界扩展至超出范围 θ ∈ (0, (1+√5)/2) 的区域，此前该范围在所有非凸问题文献中均为极限。
• 证明依赖于一种新颖的李雅普诺夫函数和错位求和技巧，以界定向量对偶迭代的累积误差，从而得出 O(ρ⁻²) 的复杂度。