[论文解读] Iteration Complexity Analysis of Multi-Block ADMM for a Family of Convex Minimization without Strong Convexity

Tianyi Lin, Shiqian Ma+1 more|arXiv (Cornell University)|Apr 13, 2015

Sparse and Compressive Sensing Techniques参考文献 25被引用 11

一句话总结

本文在无强凸性假设的凸优化问题中，建立了多块ADMM的迭代复杂度边界。通过引入扰动问题，证明了ε-最优解的迭代次数为O(1/ε²)；在Kurdyka-Łojasiewicz性质下，证明了O(1/ε)的迭代次数，从而将收敛性保证扩展至强凸性之外的更广泛场景。

ABSTRACT

The alternating direction method of multipliers (ADMM) is widely used in solving structured convex optimization problems due to its superior practical performance. On the theoretical side however, a counterexample was shown in [7] indicating that the multi-block ADMM for minimizing the sum of $N$ $(N\geq 3)$ convex functions with $N$ block variables linked by linear constraints may diverge. It is therefore of great interest to investigate further sufficient conditions on the input side which can guarantee convergence for the multi-block ADMM. The existing results typically require the strong convexity on parts of the objective. In this paper, we present convergence and convergence rate results for the multi-block ADMM applied to solve certain $N$-block $(N\geq 3)$ convex minimization problems without requiring strong convexity. Specifically, we prove the following two results: (1) the multi-block ADMM returns an $ε$-optimal solution within $O(1/ε^2)$ iterations by solving an associated perturbation to the original problem; (2) the multi-block ADMM returns an $ε$-optimal solution within $O(1/ε)$ iterations when it is applied to solve a certain sharing problem, under the condition that the augmented Lagrangian function satisfies the Kurdyka-Lojasiewicz property, which essentially covers most convex optimization models except for some pathological cases.

研究动机与目标

• 为解决多块ADMM在非强凸问题中缺乏收敛性保证的问题。
• 弥合多块ADMM在实际应用中的成功与理论理解之间的差距。
• 在不依赖目标函数强凸性的情况下，推导多块ADMM的迭代复杂度边界。
• 在Kurdyka-Łojasiewicz性质下建立收敛性，适用于一大类凸模型。

提出的方法

• 通过带惩罚参数γ的增广拉格朗日框架分析多块ADMM。
• 引入扰动技术，推导出在ε-最优性下O(1/ε²)的迭代复杂度。
• 应用Kurdyka-Łojasiewicz性质，在较弱条件下建立O(1/ε)的迭代复杂度。
• 利用递推迭代平均和对偶间隙分析来界定收敛速率。
• 采用变分不等式与李雅普诺夫函数技术分析收敛行为。
• 基于初始迭代点与问题参数，推导出对偶间隙与约束违反的上界。

实验结果

研究问题

• RQ1 在无强凸性条件下，多块ADMM能否实现O(1/ε²)的迭代复杂度？
• RQ2 Kurdyka-Łojasiewicz性质是否能实现多块ADMM的O(1/ε)收敛？
• RQ3 在缺乏强凸性时，何种条件可确保多块ADMM的收敛性？
• RQ4 扰动方法如何影响多块ADMM的收敛速率？
• RQ5 在Kurdyka-Łojasiewicz条件下，收敛速率是否可进一步提升？

主要发现

• 当求解原始问题的扰动版本时，多块ADMM可在O(1/ε²)次迭代内返回ε-最优解。
• 在Kurdyka-Łojasiewicz性质下，多块ADMM对ε-最优性实现了O(1/ε)的迭代复杂度。
• 当t = O(1/ε)时，对偶间隙与约束违反均被控制在O(ε)以内。
• 收敛速率的建立不依赖于目标函数的强凸性。
• 该分析覆盖了绝大多数标准凸优化模型，仅排除病态情况。
• 该结果将理论保证扩展至强凸性之外的更广泛问题类别。