[论文解读] A Proof of Convergence For the Alternating Direction Method of Multipliers Applied to Polyhedral-Constrained Functions

João F. C. Mota, João Xavier+2 more|arXiv (Cornell University)|Dec 10, 2011

Sparse and Compressive Sensing Techniques参考文献 8被引用 44

一句话总结

本文为带有多面体约束的凸优化问题中应用的增广拉格朗日乘子法（ADMM）提供了通用的收敛性证明。在约束矩阵满列秩的假设下，证明了当目标函数为凸函数且约束集为多面体时，ADMM收敛于原始-对偶最优解。

ABSTRACT

We give a general proof of convergence for the Alternating Direction Method of Multipliers (ADMM). ADMM is an optimization algorithm that has recently become very popular due to its capabilities to solve large-scale and/or distributed problems. We prove that the sequence generated by ADMM converges to an optimal primal-dual optimal solution. We assume the functions f and g, defining the cost f(x) + g(y), are real-valued, but constrained to lie on polyhedral sets X and Y. Our proof is an extension of the proofs from [Bertsekas97, Boyd11].

研究动机与目标

• 建立多面体约束优化问题背景下 ADMM 的通用收敛性证明。
• 通过放宽先前研究中对约束矩阵 B 仅为单位矩阵的假设，扩展现有的收敛结果。
• 在较弱条件下证明 ADMM 生成的序列收敛于唯一的原始-对偶最优解。
• 通过引入满列秩假设并证明极限点的唯一性，弥合 ADMM 收敛性理论中的空白。
• 通过在实际约束下验证收敛性，为 ADMM 在大规模和分布式优化中的应用提供严格的理论基础。

提出的方法

• 使用带有惩罚参数 ρ 的增广拉格朗日函数来表述 ADMM 子问题。
• 采用交替最小化策略：首先在固定 y 和 λ 的情况下对 x 进行最小化，然后在固定 x 和 λ 的情况下对 y 进行最小化，最后通过梯度上升更新 λ。
• 利用凸函数在闭凸集上的最优性条件，结合次微分微分学，并利用最小化凸函数之和与在解处最小化线性逼近之间的等价性。
• 引入一个类似李雅普诺夫的函数 V^k 以追踪进展，该函数结合了原始残差和对偶残差，并证明其非增且有下界。
• 通过强对偶性和有界性论证，证明所有迭代序列的极限点均为原始-对偶最优解。
• 通过证明李雅普诺夫函数收敛于零，从而证明整个序列 (x^k, y^k, λ^k) 收敛。

实验结果

研究问题

• RQ1 当约束为多面体时，ADMM 在何种条件下收敛于原始-对偶最优解？
• RQ2 ADMM 的收敛性证明能否推广到 B 不是单位矩阵的情形？
• RQ3 在 A 和 B 满列秩的假设下，ADMM 生成的序列是否收敛于唯一的极限点？
• RQ4 如何通过一个同时追踪原始和对偶不可行性的李雅普诺夫函数来证明 ADMM 的收敛性？
• RQ5 强对偶性在多面体约束下 ADMM 收敛性的建立中起到什么作用？

主要发现

• ADMM 生成的序列 {(x^k, y^k, λ^k)} 收敛于唯一的极限点，该点为问题的原始-对偶最优解。
• 当 k → ∞ 时，目标函数值 f(x^k) + g(y^k) 收敛于最优值 p^*。
• 对偶变量序列 {λ^k} 收敛于唯一的极限点 λ^*，该点求解了对偶问题 (3)。
• 由于 A 和 B 的满列秩假设，原始变量 x^k 和 y^k 分别收敛于其最优值 x^* 和 y^*。
• 在 f 和 g 为凸函数、X 和 Y 为多面体集、且 A 和 B 满列秩的假设下，收敛性得以保证。
• 证明表明李雅普诺夫函数 V^k 单调递减并收敛于零，从而意味着所有迭代分量的收敛性。