[論文レビュー] Parallel Multi-Block ADMM with o(1/k) Convergence

Wei Deng, Ming‐Jun Lai+2 more|arXiv (Cornell University)|Dec 11, 2013

Sparse and Compressive Sensing Techniques参考文献 25被引用数 48

ひとこと要約

本稿では、分離可能な構造を有する凸最適化問題に対する並列で分散型の多ブロックADMMアルゴリズムを提案する。プロキシマル項を用いることで、globalな収束をo(1/k)のレートで保証する。ジャコビ型更新を用いてADMMをNブロックに拡張し、緩い条件下でも収束を確立し、実用的な高速化を図るための動的パrameterチューニング戦略を導入。分散環境下での大規模なベーシスプルーフ問題において優れた性能を示す。

ABSTRACT

This paper introduces a parallel and distributed extension to the alternating direction method of multipliers (ADMM) for solving convex problem: minimize $\sum_{i=1}^N f_i(x_i)$ subject to $\sum_{i=1}^N A_i x_i=c, x_i\in \mathcal{X}_i$. The algorithm decomposes the original problem into N smaller subproblems and solves them in parallel at each iteration. This Jacobian-type algorithm is well suited for distributed computing and is particularly attractive for solving certain large-scale problems. This paper introduces a few novel results. Firstly, it shows that extending ADMM straightforwardly from the classic Gauss-Seidel setting to the Jacobian setting, from 2 blocks to N blocks, will preserve convergence if matrices $A_i$ are mutually near-orthogonal and have full column-rank. Secondly, for general matrices $A_i$, this paper proposes to add proximal terms of different kinds to the N subproblems so that the subproblems can be solved in flexible and efficient ways and the algorithm converges globally at a rate of o(1/k). Thirdly, a simple technique is introduced to improve some existing convergence rates from O(1/k) to o(1/k). In practice, some conditions in our convergence theorems are conservative. Therefore, we introduce a strategy for dynamically tuning the parameters in the algorithm, leading to substantial acceleration of the convergence in practice. Numerical results are presented to demonstrate the efficiency of the proposed method in comparison with several existing parallel algorithms. We implemented our algorithm on Amazon EC2, an on-demand public computing cloud, and report its performance on very large-scale basis pursuit problems with distributed data.

研究の動機と目的

• 分離可能な構造を有する大規模凸最適化問題を対象とした、スケーラブルで分散型の最適化アルゴリズムの開発。
• 古典的ADMMを2ブロックからNブロックに、並列的かつジャコビ型フレームワークで拡張すること。
• 緩い条件下でも、提案された多ブロックADMMのglobalな収束とo(1/k)収束レートの確立。
• 新しい解析手法を用いて、既存のO(1/k)収束レートをo(1/k)に改善すること。
• 理論的保証を損なわずに、実用的収束速度を向上させるための動的パrameterチューニング戦略の導入。

提案手法

• アルゴリズムは、各イテレーションで並列に解かれるN個のサブプロブレムに元の問題を分解する。ジャコビ型更新スキームを用いる。
• 各サブプロブレムに形式‖x_i - x_i^k‖_P_i²のプロキシマル項を追加し、数値的安定性と個々の更新の柔軟性を向上させる。
• 行列A_iが互いに近似的に直交しており、フル列ランクであるか、一般のA_i行列に対してプロキシマル正則化を適用することで収束を確立する。
• コーシー・シュワルツ不等式と収縮性の性質に基づく新しい解析手法を用い、収束レートをO(1/k)からo(1/k)に改善する。
• イテレーション中にプロキシマルパラメータを動的に調整する戦略を導入し、実用的な収束速度を向上させる。
• 本手法はAmazon EC2上で実装され、分散データを有する大規模なベーシスプルーフ問題に対して評価された。

実験結果

リサーチクエスチョン

• RQ1 古典的ADMMは、globalな収束を保ちながら、並列的かつ分散型の設定において2ブロックからNブロックに拡張可能か？
• RQ2 制約行列A_iにどのような条件が課されると、多ブロックジャコビADMMの収束が保証されるか？
• RQ3 多ブロック設定において、ADMMの収束レートをO(1/k)からo(1/k)に改善可能か？
• RQ4 プロキシマル正則化は、多ブロックADMMにおけるサブプロブレムの解法の柔軟性と効率をどのように向上させられるか？
• RQ5 動的パrameterチューニングは、理論的収束保証を損なわずに、実用的収束速度を顕著に向上させるか？

主な発見

• 提案された多ブロックADMMは、行列A_iが互いに近似的に直交しており、フル列ランクである場合、globalな収束を達成する。
• 一般のA_i行列に対しては、プロキシマル項の追加により、globalな収束とo(1/k)収束レートが保証される。
• 収縮性に基づく解析とコーシー・シュワルツ不等式を用いた新しい技術により、既存のO(1/k)収束レートをo(1/k)に改善する手法を確立した。
• 数値的結果から、提案アルゴリズムは大規模なベーシスプルーフ問題において、既存の並列ADMM手法を上回る性能を示した。
• 動的パrameterチューニング戦略は、理論的条件が保守的であっても、実用的収束速度を顕著に向上させた。
• アルゴリズムはAmazon EC2に正常にデプロイされ、分散的で大規模な最適化においてスケーラビリティと効率性を実証した。