[論文レビュー] Fast Proximal Linearized Alternating Direction Method of Multiplier with Parallel Splitting

Canyi Lu, Huan Li+2 more|arXiv (Cornell University)|Nov 14, 2015

Sparse and Compressive Sensing Techniques参考文献 26被引用数 14

ひとこと要約

本稿では、滑らかでない成分を含む多ブロック凸最適化問題を解くための新規アルゴリズムである、並列分割を施した高速プロキシマル線形化ADMM（Fast PL-ADMM-PS）を提案する。Nesterovの加速と滑らか項の線形化を組み込むことで、プライマル変数の収束速度が理論的・実践的に $O(1/K^2)$ に向上し、合成データおよび実世界のデータにおいて従来のADMMおよびPALMを著しく上回る性能を達成する。

ABSTRACT

The Augmented Lagragian Method (ALM) and Alternating Direction Method of Multiplier (ADMM) have been powerful optimization methods for general convex programming subject to linear constraint. We consider the convex problem whose objective consists of a smooth part and a nonsmooth but simple part. We propose the Fast Proximal Augmented Lagragian Method (Fast PALM) which achieves the convergence rate $O(1/K^2)$, compared with $O(1/K)$ by the traditional PALM. In order to further reduce the per-iteration complexity and handle the multi-blocks problem, we propose the Fast Proximal ADMM with Parallel Splitting (Fast PL-ADMM-PS) method. It also partially improves the rate related to the smooth part of the objective function. Experimental results on both synthesized and real world data demonstrate that our fast methods significantly improve the previous PALM and ADMM.

研究の動機と目的

• 従来の交替方向乗数法（ADMM）およびプロキシマル交替線形化法（PALM）が多ブロック凸問題を解く際に遅い収束を示す問題に対処すること。
• 非単位線形作用素を伴う問題において、ADMMに基づく手法の1反復あたりの計算コストを低減すること。
• Nesterov型加速を組み込むことで、既存のプロキシマルADMM変種の収束速度を $O(1/K)$ から $O(1/K^2)$ に向上させること。
• 構造的で明確な目的関数を持つ大規模機械学習および信号処理応用に適したスケーラブルかつ並列処理可能なアルゴリズムの開発。

提案手法

• Nesterovの加速をプロキシマル更新スキームに組み込んだ高速プロキシマルALM（Fast PALM）を提案し、$O(1/K^2)$ の収束速度を達成する。
• 滑らか項 $g_i$ の線形化と変数の分離のためのプロキシマル項の適用により、並列計算が可能な多ブロック拡張であるFast PL-ADMM-PSを導入する。
• 収束を加速するために、$\theta^{(k+1)} = \frac{1 + \sqrt{1 + 4(\theta^{(k)})^2}}{2}$ を満たすシーケンス $\theta^{(k)}$ を用いた適応的ステップサイズ戦略を採用する。
• 変数ペナルティパラメータ $\beta^{(k)}$ を用いた線形化された増加ラグランジュ関数を採用し、部分問題の解法を単純化しながら収束性を保持する。
• $n$ ブロックの部分問題を同時に解くことで並列分割を適用し、依存性を低減しスケーラビリティを向上させる。
• リャプノフ関数を用いた理論的分析により収束保証を導出し、リプシッツ連続性および部分勾配の有界性といった標準的仮定の下でグローバル収束を確立する。

実験結果

リサーチクエスチョン

• RQ1 Nesterov型加速をADMMフレームワークに効果的に統合することで、多ブロック凸問題の収束速度を向上させることができるか？
• RQ2 ADMMにおける滑らか項 $g_i$ の線形化が、収束品質を損なわずに1反復あたりの計算コストを低減できるか？
• RQ3 既存のプロキシマルADMM手法の収束速度を、多ブロック設定において $O(1/K)$ から $O(1/K^2)$ に向上させることができるか？
• RQ4 実世界および合成データ上で、提案手法Fast PL-ADMM-PSは標準ADMMおよびPALMと比較して実際の性能で優れているか？
• RQ5 加速ADMMに並列分割を組み合わせた場合、グローバルかつ線形収束する理論的条件は何か？

主な発見

• 提案手法Fast PL-ADMM-PSは、プライマル変数に対して $O(1/K^2)$ の収束速度を達成し、標準PALMおよびADMMの $O(1/K)$ に比べ著しく向上している。
• 滑らか項 $g_i$ の線形化により1反復あたりの計算複雑度が低減され、部分問題の高速かつスケーラブルな解法が可能になった。
• 合成データおよび実世界データ（例：行列補完、Lasso、低ランク回復）における実験結果から、Fast PL-ADMM-PSはPALMおよび標準ADMMよりも高速に収束することが示された。
• 理論的分析により、部分勾配の有界性および線形作用素 $\mathcal{A}$ のフルランク性といった標準的仮定の下でグローバル収束が保証された。
• $\mathcal{A}_i$ が非単位である場合でも収束を維持でき、行列補完や圧縮センシングといった実用的応用で一般的に見られる状況に適している。
• 収束バウンダリーは $D_{\mathbf{x}^*}^2$、$D_{\bm{λ}}^2$、および $D_X^2$ に依存し、誤差項の $1/K^2$ 減衰率が支配的である。