[論文レビュー] Parallel Direction Method of Multipliers

Huahua Wang, Arindam Banerjee+1 more|arXiv (Cornell University)|Jun 16, 2014

Sparse and Compressive Sensing Techniques参考文献 43被引用数 22

ひとこと要約

本稿では、線形制約付きの多ブロック凸最適化問題を解くための、ランダム化ブロック座標法であるParallel Direction Method of Multipliers (PDMM)を提案する。PDMMは、ランダムに選択されたブロック上で、プライマル変数とデュアル変数を並列に更新する。定数ステップサイズを用いることで、グローバル収束性とO(1/T)の反復複雑度を達成し、robust PCAおよびオーバラップするグループlassoの応用において、最先端の手法を上回る性能を示す。

ABSTRACT

We consider the problem of minimizing block-separable convex functions subject to linear constraints. While the Alternating Direction Method of Multipliers (ADMM) for two-block linear constraints has been intensively studied both theoretically and empirically, in spite of some preliminary work, effective generalizations of ADMM to multiple blocks is still unclear. In this paper, we propose a randomized block coordinate method named Parallel Direction Method of Multipliers (PDMM) to solve the optimization problems with multi-block linear constraints. PDMM randomly updates some primal and dual blocks in parallel, behaving like parallel randomized block coordinate descent. We establish the global convergence and the iteration complexity for PDMM with constant step size. We also show that PDMM can do randomized block coordinate descent on overlapping blocks. Experimental results show that PDMM performs better than state-of-the-arts methods in two applications, robust principal component analysis and overlapping group lasso.

研究の動機と目的

• 線形制約付き凸最適化におけるADMMの複数ブロックへの効果的な一般化が不足しているという問題に取り組む。
• 従来のブロック座標降下法が重複するブロックのため失敗する大規模な多ブロック問題に対して、スケーラブルで並列化可能なアルゴリズムを開発する。
• ランダム化され並列化された更新スキームに対して、グローバル収束性と反復複雑度の保証を確立する。
• 非可分で重複するブロック構造を持つ応用分野において、効率的な最適化を可能にする。

提案手法

• PDMMは、ランダムに選択されたブロック上でプライマル変数とデュアル変数を並列に更新する、ランダム化ブロック座標降下法を用いる。
• 収束性と数値的安定性を保証するために、罰則パラメータρ > 0を用いた拡張ラグランジュ形式を採用する。
• アルゴリズムは、選択されたブロック上で拡張ラグランジュを最小化する操作と、デュアル昇下によるデュアル変数の更新を交互に繰り返す。
• 目的関数における滑らかでない、ブロック分離可能な凸関数を扱うために、ブレグマン発散項を組み込む。
• 合成正則化子を等式制約問題に再定式化することで、重複するブロックを扱えるようにする。
• リャプノフ関数解析を用いて収束性を確立し、定数ステップサイズ下でO(1/T)のエルゴディック収束速度を示している。

実験結果

リサーチクエスチョン

• RQ1 ランダム化され並列化されたブロック座標法は、線形制約付きの多ブロック凸最適化問題に対してグローバル収束性を達成できるか？
• RQ2 PDMMは、重複するか非可分なブロックに適用された場合でも収束性と反復複雑度の保証を維持するか？
• RQ3 大規模問題において、ADMM や RBCD といった最先端の手法と比較して、PDMM は性能と収束速度で優れているか？
• RQ4 PDMM は、重複するグループlasso型正則化子を持つ合成最小化問題を効果的に扱えるか？

主な発見

• PDMMは定数ステップサイズを用いてグローバル収束性を達成し、多ブロック問題に対する理論的保証を確立した。
• アルゴリズムはO(1/T)のエルゴディック収束速度を示し、2ブロックADMMの既知のレートと一致する。
• robust PCAおよびオーバラップするグループlassoにおいて、PDMMは最先端の手法を上回り、優れた実験的性能を示した。
• 合成正則化子を等式制約問題に再定式化することで、重複するブロックを効果的に扱えた。
• 収束解析は、プライマルおよびデュアル更新の両方を考慮する新しいリャプノフ関数に基づいている。
• PDMMはPJADMMの一般化であることが示され、収束速度の保証が向上した。