[论文解读] ADMM for Convex Quadratic Programs: Linear Convergence and Infeasibility Detection

Arvind U. Raghunathan, Stefano Di Cairano|arXiv (Cornell University)|Jan 1, 2015

Advanced Optimization Algorithms Research参考文献 46被引用 23

一句话总结

本文在较弱假设下建立了对具有线性等式约束和边界约束的凸二次规划问题，ADMM 的线性收敛性。它推导出一个显式收敛速率，该速率依赖于约简 Hessian 矩阵的特征值、Friedrichs 角以及与边界距离的参数，并提供了最优步长设置和不可行性检测准则。

ABSTRACT

In this paper, we analyze the convergence of Alternating Direction Method of Multipliers (ADMM) on convex quadratic programs (QPs) with linear equality and bound constraints. The ADMM formulation alternates between an equality constrained QP and a projection on the bounds. Under the assumptions of: (i) positive definiteness of the Hessian of the objective projected on the null space of equality constraints (reduced Hessian), and (ii) linear independence constraint qualification holding at the optimal solution we derive an upper bound on the rate of convergence to the solution at each iteration. In particular, we provide an explicit characterization of the rate of convergence in terms of: (a) the eigenvalues of the reduced Hessian, (b) the cosine of the Friedrichs angle between the subspace spanned by equality constraints and the subspace spanned by the gradients of the components that are active at the solution and (c) the distance of the inactive components of solution from the bounds. Using this analysis we show that if the QP is feasible, the iterates converge at a Q-linear rate and prescribe an optimal setting for the ADMM step-size parameter. For infeasible QPs, we show that the primal variables in ADMM converge to minimizers of the Euclidean distance between the hyperplane defined by the equality constraints and the convex set defined by the bounds. The multipliers for the bound constraints are shown to diverge along the range space of the equality constraints. Using this characterization, we also propose a termination criterion for ADMM. Numerical examples are provided to illustrate the theory through experiments.

研究动机与目标

• 分析 ADMM 在具有线性等式和边界约束的凸二次规划问题上的收敛行为。
• 建立 ADMM 收敛到最优解的线性收敛条件。
• 根据问题特有的几何与谱性质，刻画收敛速率。
• 基于 ADMM 迭代序列，开发一种用于检测 QP 不可行性的终止准则。
• 提供一个最优步长参数设置，以确保最快可能的收敛速率。

提出的方法

• 将 ADMM 表述为在等式约束 QP 和边界投影之间交替最小化的优化过程。
• 通过将约简 Hessian 矩阵投影到等式约束的零空间上，分析收敛性。
• 利用约简 Hessian 矩阵的特征值和约束子空间与活动梯度子空间之间 Friedrichs 角余弦值，推导收敛速率。
• 将非活动变量到边界距离的参数纳入收敛速率表达式。
• 刻画当 QP 不可行时 ADMM 迭代序列的极限行为，表明原始变量收敛到等式约束超平面与边界集之间欧氏距离最小的点。
• 基于等式约束矩阵列空间上边界乘子的发散行为，建立一个终止准则。

实验结果

研究问题

• RQ1 在何种条件下，ADMM 对具有边界和等式约束的凸 QPs 实现 Q-线性收敛？
• RQ2 收敛速率如何依赖于约简 Hessian 矩阵、Friedrichs 角以及与边界的接近程度？
• RQ3 能否推导出一个最优步长参数以最小化收敛速率？
• RQ4 当 QP 不可行时，ADMM 迭代序列会发生什么？
• RQ5 能否基于不可行性检测构建一个可靠的终止准则？

主要发现

• 在约简 Hessian 矩阵正定性及线性独立约束规范条件下，ADMM 线性收敛到最优解。
• 收敛速率被显式地限制为约简 Hessian 矩阵特征值、Friedrichs 角余弦值以及非活动变量到边界距离的函数。
• 推导出一个最优步长参数，可使最坏情况下的收敛速率最小化。
• 对于不可行的 QP，原始变量收敛到等式约束超平面与边界集之间欧氏距离最小的点。
• 边界约束的乘子沿等式约束矩阵的列空间发散，从而可实现不可行性检测。
• 提出了一种实用的终止准则，基于边界乘子的发散行为以及原始迭代序列的行为。