[論文レビュー] Convergence Analysis of Alternating Direction Method of Multipliers for a Family of Nonconvex Problems

Mingyi Hong, Zhi‐Quan Luo+1 more|arXiv (Cornell University)|Oct 6, 2014

Sparse and Compressive Sensing Techniques参考文献 47被引用数 19

ひとこと要約

本稿は、非凸最適化問題のクラス（合同および共有問題を含む）に対して、十分に大きなペナルティパラメータが与えられれば、反復点に関する仮定を必要とせずに、増大ラグランジュ関数をリャプノフ型のポテンシャル関数として用いることで、ADMM（交替方向乗数法）のグローバル収束を、定常解へ保証する。この分析により、凸設定を超えたADMM収束保証が拡張される。

ABSTRACT

The alternating direction method of multipliers (ADMM) is widely used to solve large-scale linearly constrained optimization problems, convex or nonconvex, in many engineering fields. However there is a general lack of theoretical understanding of the algorithm when the objective function is nonconvex. In this paper we analyze the convergence of the ADMM for solving certain nonconvex consensus and sharing problems, and show that the classical ADMM converges to the set of stationary solutions, provided that the penalty parameter in the augmented Lagrangian is chosen to be sufficiently large. For the sharing problems, we show that the ADMM is convergent regardless of the number of variable blocks. Our analysis does not impose any assumptions on the iterates generated by the algorithm, and is broadly applicable to many ADMM variants involving proximal update rules and various flexible block selection rules.

研究の動機と目的

• 非凸最適化におけるADMMの理論的収束保証の欠如、特に多ブロック問題に対して、これを解消すること。
• 非凸問題の族に対して、弱く検証可能な条件下でADMMが定常解へグローバル収束することを確立すること。
• 従来の収束解析が悩ませる、反復点に関する検証不能な仮定に依存しないこと。
• 結合関数を有する非凸問題および複数変数ブロックを含む問題へ収束結果を拡張すること。
• 非凸ADMM収束解析のための一般枠組みを、増大ラグランジュ関数をポテンシャル関数として提供すること。

提案手法

• 増大ラグランジュ関数をポテンシャル関数として用い、これをリャプノフ型関数として収束解析を導く。
• 問題構造および反復点に関する検証可能な仮定（仮定D）の集合を課す。これには有界性および成長条件が含まれる。
• ペナルティパラメータρが十分に大きく、部分問題の強い凸性および双対更新の成長を制御できるように要求する。
• 増大ラグランジュ関数に対する降下解析を適用し、それが減少し下から有界であることを示す。
• 合同問題および共有問題の両方を分析し、仮定Dのもとで定常解への収束を証明する。
• プロキシマル項を含む変種および柔軟なブロック選択ルールを用いる場合にも、収束保証を維持する。

実験結果

リサーチクエスチョン

• RQ1 複数ブロック変数を有する非凸問題に対して、ADMMがどのような条件下でグローバル収束するか。
• RQ2 反復点の有界性や収束性を事前に仮定しないで、ADMMの収束を非凸問題で保証できるか。
• RQ3 ペナルティパラメータρが非凸ADMMの収束を保証するために果たす役割は何か。
• RQ4 増大ラグランジュ関数は、非凸ADMM収束解析の有効なポテンシャル関数として機能できるか。
• RQ5 結合関数ℓ(x)の構造が、非凸設定におけるADMMの収束にどのように影響するか。

主な発見

• ペナルティパラメータρが十分に大きい場合、非凸合同および共有問題に対してADMMは定常解の集合へ収束する。
• 従来の研究とは異なり、反復点の有界性や収束性に関する仮定を必要とせず、収束が保証される。
• 提案された条件下で、プライマル実行可能性ギャップ‖q - Axᵗ⁺¹‖は極限でゼロに収束する。
• プロキシマル項を含むADMMの変種および柔軟なブロック選択ルールを用いる場合にも、この分析は適用可能であり、適用範囲が広がる。
• 可逆な結合行列を有する2ブロック非凸問題のクラスに対して、ρ > L_g / λ_min(AAᵀ) が成り立つと収束が保証され、これは検証可能な条件である。
• 仮定D1のもとで、増大ラグランジュ関数が一様に下から有界であることが示され、収束にとって不可欠である。