[論文レビュー] On the Equivalence of Inexact Proximal ALM and ADMM for a Class of Convex Composite Programming

Liang Chen, Xudong Li+2 more|arXiv (Cornell University)|Mar 28, 2018

Sparse and Compressive Sensing Techniques参考文献 47被引用数 3

ひとこと要約

本稿では、凸合成最適化問題のクラスに対して、不正確な対称ガウス・ザイデル（sGS）スweeP型ADMMと不正確なプロキシマル増大ラグランジュ法（ALM）の等価性を確立する。主な貢献は、この等価性のおかげで、ADMMのステップ長が従来の上限$(1+\sqrt{5})/2$を超える場合にも収束保証が得られること、特に1つの目的関数成分が線形である場合に有効であり、不正確な部分問題解法と大きなステップ長を組み合わせることで計算効率が向上することを示している。

ABSTRACT

In this paper, we show that for a class of linearly constrained convex composite optimization problems, an (inexact) symmetric Gauss-Seidel based majorized multi-block proximal alternating direction method of multipliers (ADMM) is equivalent to an {\em inexact} proximal augmented Lagrangian method (ALM). This equivalence not only provides new perspectives for understanding some ADMM-type algorithms but also supplies meaningful guidelines on implementing them to achieve better computational efficiency. Even for the two-block case, a by-product of this equivalence is the convergence of the whole sequence generated by the classic ADMM with a step-length that exceeds the conventional upper bound of $(1+\sqrt{5})/2$, if one part of the objective is linear. This is exactly the problem setting in which the very first convergence analysis of ADMM was conducted by Gabay and Mercier in 1976, but, even under notably stronger assumptions, only the convergence of the primal sequence was known. A collection of illustrative examples are provided to demonstrate the breadth of applications for which our results can be used. Numerical experiments on solving a large number of linear and convex quadratic semidefinite programming problems are conducted to illustrate how the theoretical results established here can lead to improvements on the corresponding practical implementations.

研究の動機と目的

• 凸合成プログラミングにおける不正確なsGSベースの多ブロックADMMと不正確なプロキシマルALMの理論的等価性を確立すること。
• ステップ長τが従来の上限$(1+\sqrt{5})/2$を超える場合に、古典的ADMMの全列が収束するかどうかという未解決問題を解消すること。
• 大規模な線形および凸二次半定値計画問題（SDP）を効率的に解くための実用的ガイドラインを提供すること。
• 不正確な部分問題解法と大きなステップ長を組み合わせることで、ADMM型アルゴリズムの数値的性能が著しく向上することを示すこと。

提案手法

• 同じ初期点とパrameter設定のもとで、不正確なsGS-ADMMと不正確なプロキシマルALMが生成する反復点が同一であることを示すことにより、等価性を確立する。
• 多ブロック問題を扱うために対称ガウス・ザイデル（sGS）分解を用い、部分問題が適切に定義されるようにプロキシマル項を導入する。
• 部分問題を許容誤差列$\tilde{\varepsilon}_k$ で不正確に解く戦略を採用し、$\alpha \tilde{\varepsilon}_k \leq 1/k^{1.2}$ を満たすことで収束を保証する。
• 小スケールシステムにはコレスキー分解を、大スケールシステムにはプリコンディショニング付き共役勾配法またはプロキシマル手法を用いてアルゴリズムフレームワークを実装する。
• 反復の過程で罰則パrameter $\sigma$ を動的に調整することで収束速度を向上させる。
• 次元$n$が51から501にわたる147件の凸QSDP問題のインスタンスに対して、$\mathbfcal{Q}$ に対称化されたクロネッカー作用素を用いて数値実験を実施する。

実験結果

リサーチクエスチョン

• RQ1 線形目的関数成分を含む2ブロック問題において、ステップ長$\tau$ が従来の上限$(1+\sqrt{5})/2$ を超える場合、古典的ADMMが生成する全列が収束するか？
• RQ2 多ブロック凸合成問題に対して、不正確なsGS-ADMMと不正確なプロキシマルALMの理論的関連性は存在するか？
• RQ3 ADMMにおける部分問題の不正確な解法を許容することで、正確な部分問題解法と比較して計算効率が向上するか？
• RQ4 特に線形目的項が存在する場合に、$\tau > (1+\sqrt{5})/2$ の大きなステップ長をADMMで安全に使用しても収束性が損なわれないか？
• RQ5 大規模な凸二次半定値計画問題を解く際、大きなステップ長と不正確な部分問題解法を組み合わせた場合の実用的影響は何か？

主な発見

• 同じ初期点とパラメータ設定のもとで、不正確なsGS-ADMMと不正確なプロキシマルALMは同一の反復点を生成し、正式な等価性が確立された。
• 1つの目的関数成分が線形である場合、古典的ADMMが$\tau > (1+\sqrt{5})/2$ であっても全列の収束が保証されることが示され、長年の未解決問題が解決された。
• sGS-iPADMM（$\tau = 1.9$）は、147件の凸QSDPインスタンスの約65％で、他のすべてのテストされたアルゴリズムを上回った。
• sGS-iPADMMにおける不正確な部分問題解法の使用は、sGS-PADMMにおける正確な部分問題解法と比較して顕著な性能優位性を示した。
• 罰則パラメータ$\sigma$ と誤差許容値$\tilde{\varepsilon}_k$ の動的調整により、収束速度とロバストネスが向上した。
• 数値結果から、大きなステップ長（$\tau = 1.9$）と不正確な部分問題の組み合わせが、大規模な凸QSDPを解く際の計算効率を著しく向上させることを確認した。