[論文レビュー] ADMM for Convex Quadratic Programs: Linear Convergence and Infeasibility Detection

Arvind U. Raghunathan, Stefano Di Cairano|arXiv (Cornell University)|Jan 1, 2015

Advanced Optimization Algorithms Research参考文献 46被引用数 23

ひとこと要約

本稿は、弱い仮定の下で、線形等式制約およびバインディング制約を伴う凸二次計画問題に対するADMMの線形収束を確立する。収束速度は、縮約ヘッセ行列の固有値、フレーリングス角、および境界からの距離に依存する明示的表現が得られ、最適なステップサイズと不実行性検出基準が提示される。

ABSTRACT

In this paper, we analyze the convergence of Alternating Direction Method of Multipliers (ADMM) on convex quadratic programs (QPs) with linear equality and bound constraints. The ADMM formulation alternates between an equality constrained QP and a projection on the bounds. Under the assumptions of: (i) positive definiteness of the Hessian of the objective projected on the null space of equality constraints (reduced Hessian), and (ii) linear independence constraint qualification holding at the optimal solution we derive an upper bound on the rate of convergence to the solution at each iteration. In particular, we provide an explicit characterization of the rate of convergence in terms of: (a) the eigenvalues of the reduced Hessian, (b) the cosine of the Friedrichs angle between the subspace spanned by equality constraints and the subspace spanned by the gradients of the components that are active at the solution and (c) the distance of the inactive components of solution from the bounds. Using this analysis we show that if the QP is feasible, the iterates converge at a Q-linear rate and prescribe an optimal setting for the ADMM step-size parameter. For infeasible QPs, we show that the primal variables in ADMM converge to minimizers of the Euclidean distance between the hyperplane defined by the equality constraints and the convex set defined by the bounds. The multipliers for the bound constraints are shown to diverge along the range space of the equality constraints. Using this characterization, we also propose a termination criterion for ADMM. Numerical examples are provided to illustrate the theory through experiments.

研究の動機と目的

• 線形等式制約およびバインディング制約を伴う凸二次計画問題におけるADMMの収束行動を分析すること。
• ADMMが最適解へ線形収束するための条件を確立すること。
• 問題固有の幾何的およびスペクトル的性質を用いて収束速度を特徴付けること。
• ADMMの反復解を用いた不実行性検出のための終了基準を開発すること。
• 最も速い収束速度を保証する最適なステップサイズパラメータ設定を提供すること。

提案手法

• ADMMを、等式制約付きQ.Pとバインディング射影の交互最小化として定式化する。
• 等式制約の核空間上に射影された縮約ヘッセ行列を用いて収束を分析する。
• 縮約ヘッセ行列の固有値および制約部分空間とアクティブ勾配部分空間間のフレーリングス角の余弦を用いて収束速度を導出する。
• 非アクティブ変数の境界からの距離を収束速度式に組み込む。
• QPが不実行の場合のADMM反復解の極限挙動を特徴付け、プライマル変数が等式制約超平面とバインディング集合間のユークリッド距離を最小化する点に収束することを示す。
• 等式制約行列の値域空間に沿ってバインディング制約のラグランジュ乗数が発散することに基づき、不実行性検出のための終了基準を確立する。

実験結果

リサーチクエスチョン

• RQ1 線形等式制約およびバインディング制約を伴う凸QPsにおけるADMMのQ線形収束を保証する条件は何か？
• RQ2 収束速度は、縮約ヘッセ行列、フレーリングス角、および境界への近接度にどのように依存するか？
• RQ3 収束速度を最小化する最適なステップサイズパラメータを導出できるか？
• RQ4 QPが不実行の場合、ADMMの反復解はどのように振る舞うか？
• RQ5 不実行性検出に基づいて信頼性の高い終了基準を構築できるか？

主な発見

• 縮約ヘッセ行列の正定値性および線形独立制約条件を満たす限り、ADMMは最適解へQ線形収束する。
• 収束速度は、縮約ヘッセ行列の固有値、フレーリングス角の余弦、および非アクティブ変数の境界からの距離の関数として明示的に上限が与えられる。
• 最悪ケース収束速度を最小化する最適なステップサイズパラメータが導出された。
• 不実行QPの場合、プライマル変数は等式制約超平面とバインディング集合間のユークリッド距離を最小化する点に収束する。
• バインディング制約のラグランジュ乗数が等式制約行列の値域空間に沿って発散するため、不実行性検出が可能になる。
• バインディング乗数の発散およびプライマル反復解の挙動に基づく実用的な終了基準が提案された。