[論文レビュー] Solving Multiple-Block Separable Convex Minimization Problems Using Two-Block Alternating Direction Method of Multipliers

Xiangfeng Wang, Mingyi Hong+2 more|arXiv (Cornell University)|Aug 24, 2013

Sparse and Compressive Sensing Techniques参考文献 38被引用数 87

ひとこと要約

本稿では、多ブロック分離凸最適化問題を、主空間または双対空間のいずれかで等価な二ブロック形式に再定式化することにより、新規な二ブロックADMM手法を提案する。この手法は、標準的な多ブロックADMMが理論的収束保証を欠くにもかかわらず、改善されたO(1/ε)反復複雑性を達成し、数値的性能が優れている。

ABSTRACT

In this paper, we consider solving multiple-block separable convex minimization problems using alternating direction method of multipliers (ADMM). Motivated by the fact that the existing convergence theory for ADMM is mostly limited to the two-block case, we analyze in this paper, both theoretically and numerically, a new strategy that first transforms a multi-block problem into an equivalent two-block problem (either in the primal domain or in the dual domain) and then solves it using the standard two-block ADMM. In particular, we derive convergence results for this two-block ADMM approach to solve multi-block separable convex minimization problems, including an improved O(1/ε) iteration complexity result. Moreover, we compare the numerical efficiency of this approach with the standard multi-block ADMM on several separable convex minimization problems which include basis pursuit, robust principal component analysis and latent variable Gaussian graphical model selection. The numerical results show that the multiple-block ADMM, although lacks theoretical convergence guarantees, typically outperforms two-block ADMMs.

研究の動機と目的

• 標準的な多ブロックADMMが、複数ブロック分離凸最小化問題を解く際に収束保証が欠如しているという問題に対処すること。
• 主空間または双対空間における等価な二ブロック形式に変換する二ブロックADMMフレームワークを構築すること。
• 提案された二ブロックADMM手法の理論的収束性と改善された反復複雑性を確立すること。
• 実世界の問題に対して、二ブロックADMMと標準的な多ブロックADMMの効率を数値的に評価すること。
• しばしば数値的に優れた性能を示すが、収束証明が欠如している多ブロックADMMに対する実用的で理論的にも妥当な代替手法を提供すること。

提案手法

• 変数を主空間または双対空間に集約することで、多ブロック問題を等価な二ブロック問題に再定式化する。
• 変換された二ブロック問題に標準的な二ブロックADMMを適用し、この場合に既存の収束理論を活用する。
• 部分問題の収束性と安定性を保証するために、正定値行列を用いた近似項を用いる。
• 理論的分析により、二ブロックADMMの反復複雑性がO(1/ε)の境界を持つことを確立する。これは従来の結果を改善する。
• 非滑らかかつ非凸成分は、近似演算子と双対上昇ステップを用いて処理する。
• 数値実験では、基底追跡、ロバストPCA、および潜在変数付きガウスグラフィカルモデルに対して、二ブロックADMMと標準的な多ブロックADMMを比較する。

実験結果

リサーチクエスチョン

• RQ1 多ブロック分離凸問題は、問題の再定式化を通じて、二ブロックADMMフレームワークで効果的に解けるか？
• RQ2 提案された二ブロックADMM手法の収束性と反復複雑性はいかほどか？
• RQ3 収束保証が欠如している標準的な多ブロックADMMと比較して、二ブロックADMMの数値的性能はどの程度優れているか？
• RQ4 主空間の再定式化と比較して、双対空間の再定式化は、より良好な収束性または効率性を提供するか？
• RQ5 既存のADMM変種と比較して、提案手法は改善された反復複雑性を達成できるか？

主な発見

• 提案された二ブロックADMMは、多ブロック分離凸最小化問題を解くにあたり、改善されたO(1/ε)反復複雑性を達成する。
• 標準的な多ブロックADMMが収束保証を欠くにもかかわらず、本手法は理論的に収束性を有する。
• 数値結果から、基底追跡、ロバストPCA、および潜在変数付きガウスグラフィカルモデル選択問題において、二ブロックADMMは収束速度の面で標準的な多ブロックADMMを上回ることが示された。
• 多ブロック問題を双対空間に再定式化して二ブロック形式に変換することで、主空間バージョンと比較してより安定的かつ効率的な反復が得られる。
• 収束解析は、正確なバージョンと不正確なバージョンの両方に対して有効であり、適切な近似項が収束を保証する。
• 反復複雑性の理論的境界はタイトであり、二ブロックケースにおけるADMMの最高水準のレートと一致する。