[論文レビュー] A Proof of Convergence For the Alternating Direction Method of Multipliers Applied to Polyhedral-Constrained Functions

João F. C. Mota, João Xavier+2 more|arXiv (Cornell University)|Dec 10, 2011

Sparse and Compressive Sensing Techniques参考文献 8被引用数 44

ひとこと要約

本稿は、多面体的制約を伴う凸最適化問題に適用された交替方向乗数法（ADMM）の収束性について、一般化された証明を提供する。目的関数が凸であり、制約集合が多面体である場合、制約行列のフルランク仮定の下で、ADMMはプライマル・デュアル最適解に収束することを確立する。

ABSTRACT

We give a general proof of convergence for the Alternating Direction Method of Multipliers (ADMM). ADMM is an optimization algorithm that has recently become very popular due to its capabilities to solve large-scale and/or distributed problems. We prove that the sequence generated by ADMM converges to an optimal primal-dual optimal solution. We assume the functions f and g, defining the cost f(x) + g(y), are real-valued, but constrained to lie on polyhedral sets X and Y. Our proof is an extension of the proofs from [Bertsekas97, Boyd11].

研究の動機と目的

• 多面体的制約付き最適化問題の文脈において、ADMMの一般化された収束証明を確立すること。
• 従来の研究でBが単位行列である場合に限られる仮定を拡張し、B行列に関する仮定を緩和すること。
• AとBがフルランクであるという弱い条件下で、ADMMが生成する系列が一意なプライマル・デュアル最適解に収束することを証明すること。
• フルランク仮定を組み込み、極限点の一意性を証明することで、ADMM収束に関する理論的ギャップを埋めること。
• 現実的な制約のもとで収束が保証されることを検証することで、大規模および分散最適化におけるADMMの使用に厳密な基礎を提供すること。

提案手法

• 罰則パrameter ρ を用いた増大ラグランジュ関数を用いて、ADMMの部分問題を定式化する。
• 交互最小化戦略を適用する：まず、y と λ を固定したもとで x について最小化し、次に x と λ を固定したもとで y について最小化し、最後に勾配上昇による λ の更新を行う。
• 閉凸集合上での凸関数の最適性条件を用い、部分微分法と、凸関数の和の最小化が解の周囲での線形近似の最小化と等価であることを利用する。
• 進捗を追跡するためのリャプノフ型関数 V^k を導入し、プライマルおよびデュアルの不実行性を組み合わせ、それが非増加的かつ下から有界であることを示す。
• 強い双対性と有界性の議論を用いて、反復列のすべての極限点がプライマル・デュアル最適解であることを証明する。
• リャプノフ関数がゼロに収束することを示すことで、すべての成分（x^k, y^k, λ^k）の系列全体の収束を確立する。

実験結果

リサーチクエスチョン

• RQ1 制約が多面体である場合、ADMMはどのような条件下でプライマル・デュアル最適解に収束するか？
• RQ2 Bが単位行列である場合を越えて、ADMMの収束証明を拡張することは可能か？
• RQ3 AとBにフルランク仮定がある場合、ADMMが生成する系列が一意な極限点に収束するか？
• RQ4 プライマルおよびデュアルの不実行性を同時に追跡するリャプノフ関数を用いて、ADMMの収束をどのように証明できるか？
• RQ5 強い双対性は、多面体的制約付きADMMの収束を確立する上で、どのような役割を果たすか？

主な発見

• ADMMが生成する系列 {(x^k, y^k, λ^k)} は、一意な極限点に収束し、それは問題のプライマル・デュアル最適解である。
• 目的関数値 f(x^k) + g(y^k) は、k → ∞ のとき最適値 p^* に収束する。
• デュアル変数列 {λ^k} は、一意な極限点 λ^* に収束し、これは問題 (3) の双対問題を解く。
• AとBがフルランクであるという仮定により、プライマル変数 x^k と y^k はそれぞれの最適値 x^* と y^* に収束する。
• f と g が凸であり、X と Y が多面体的であり、A と B がフルランクであるという仮定のもとで、収束が保証される。
• 証明により、リャプノフ関数 V^k が単調に減少し、ゼロに収束することが示され、これによりすべての反復列の収束が示される。