[論文レビュー] On the o(1/k) Convergence and Parallelization of the Alternating Direction Method of Multipliers

Wei Deng, Ming‐Jun Lai+1 more|arXiv (Cornell University)|Dec 11, 2013

Sparse and Compressive Sensing Techniques被引用数 22

ひとこと要約

本稿では、大規模凸最適化のための並列的・分散型ADMMの変種を提案し、問題をN個の部分問題に分解して並列に解く。プロキシマル項と動的パrameter調整を用いることで、全般にo(1/k)収束を確立し、Amazon EC2のような分散システムにおける実用的性能を著しく向上させる。

ABSTRACT

This paper introduces a parallel and distributed extension to the alternating direction method of multipliers (ADMM) for solving convex problem: minimize $\sum_{i=1}^N f_i(x_i)$ subject to $\sum_{i=1}^N A_i x_i=c, x_i\in \mathcal{X}_i$. The algorithm decomposes the original problem into N smaller subproblems and solves them in parallel at each iteration. This Jacobian-type algorithm is well suited for distributed computing and is particularly attractive for solving certain large-scale problems. This paper introduces a few novel results. Firstly, it shows that extending ADMM straightforwardly from the classic Gauss-Seidel setting to the Jacobian setting, from 2 blocks to N blocks, will preserve convergence if matrices $A_i$ are mutually near-orthogonal and have full column-rank. Secondly, for general matrices $A_i$, this paper proposes to add proximal terms of different kinds to the N subproblems so that the subproblems can be solved in flexible and efficient ways and the algorithm converges globally at a rate of o(1/k). Thirdly, a simple technique is introduced to improve some existing convergence rates from O(1/k) to o(1/k). In practice, some conditions in our convergence theorems are conservative. Therefore, we introduce a strategy for dynamically tuning the parameters in the algorithm, leading to substantial acceleration of the convergence in practice. Numerical results are presented to demonstrate the efficiency of the proposed method in comparison with several existing parallel algorithms. We implemented our algorithm on Amazon EC2, an on-demand public computing cloud, and report its performance on very large-scale basis pursuit problems with distributed data.

研究の動機と目的

• 分散コンピューティングを想定し、2ブロックのガウス＝ザイデル更新からNブロックの並列ジャコビアン更新へのADMMの拡張を目的とする。
• 行列A_iがほぼ直交でない場合に備え、プロキシマル項を導入することで、緩い条件下でも全般的収束を保証する。
• 新しいパrameter調整戦略を用いることで、収束速度をO(1/k)からo(1/k)に向上させる。
• クラウドベースの分散システムを用いて、大規模なベーシスパルーズ問題を効率的に解くことを目的とする。

提案手法

• 変数と制約をN個のブロックに分割することで、問題をN個の部分問題に分解する。
• 各反復ですべての部分問題を並列に解くジャコビアン型ADMM更新を用いる。
• 一般のA_i行列に対しても収束を保証するため、部分問題に構造の異なるプロキシマル項を導入する。
• 理論的境界の保守的傾向を軽減し、実用的な収束を加速するため、動的パrameter調整戦略を採用する。
• Amazon EC2上でアルゴリズムを実装し、分散データを伴う大規模なベーシスパルーズ問題の性能を評価する。
• 分散型ベーシスパルーズ問題に本手法を適用し、クラウドインfraストラクチャ上でスケーラビリティと効率性を実証する。

実験結果

リサーチクエスチョン

• RQ1 2ブロックのガウス＝ザイデルからNブロックのジャコビアン更新へのADMMの拡張は、収束性を保持しつつ可能か？
• RQ2 NブロックのジャコビアンADMM設定において、A_i行列にどのような条件を課すと全般的収束が保証されるか？
• RQ3 どのようにプロキシマル項を設計すれば、柔軟かつ効率的な部分問題解法とo(1/k)収束を両立できるか？
• RQ4 アルゴリズム的修正により、収束速度をO(1/k)からo(1/k)に向上させられるか？
• RQ5 動的パrameter調整は、実用的に収束を加速させるのにどの程度有効か？

主な発見

• 提案されたADMM変種は、部分問題にプロキシマル項を追加することで、一般のA_i行列に対してもo(1/k)の全般的収束を達成する。
• A_i行列が互いにほぼ直交的かつフルランクである限り、ジャコビアン更新スキームでも収束が保たれる。
• 単純な修正により、既存の収束速度をO(1/k)からo(1/k)に向上させ、理論的保証を強化できる。
• 動的パrameter調整は実用的に収束を著しく加速させ、理論的境界の保守的傾向に依存しなくなる。
• Amazon EC2における数値実験では、大規模なベーシスパルーズ問題に対して、既存の並列ADMMアルゴリズムに比べて優れた性能を示す。
• 本手法は分散データ上で効率的にスケーリングでき、実世界の大規模最適化における実用的妥当性を実証している。