[論文レビュー] A Block-wise, Asynchronous and Distributed ADMM Algorithm for General Form Consensus Optimization

Rui Zhu, Di Niu+1 more|arXiv (Cornell University)|Feb 24, 2018

Stochastic Gradient Optimization Techniques参考文献 8被引用数 6

ひとこと要約

本稿では、全パラメータのロックを回避し、並列にモデルパラメータブロックを更新できる、ブロック単位で非同期的かつ分散型のADMMアルゴリズムAsyBADMMを提案する。この手法により、スパース最適化において近似線形のスループット向上が達成される。非凸・非滑らかのコアリジョン問題において、理論的に停留点への収束を保証し、実世界のデータを用いた大規模スパースロジスティック回帰において性能を検証した。

ABSTRACT

Many machine learning models, including those with non-smooth regularizers, can be formulated as consensus optimization problems, which can be solved by the alternating direction method of multipliers (ADMM). Many recent efforts have been made to develop asynchronous distributed ADMM to handle large amounts of training data. However, all existing asynchronous distributed ADMM methods are based on full model updates and require locking all global model parameters to handle concurrency, which essentially serializes the updates from different workers. In this paper, we present a novel block-wise, asynchronous and distributed ADMM algorithm, which allows different blocks of model parameters to be updated in parallel. The lock-free block-wise algorithm may greatly speedup sparse optimization problems, a common scenario in reality, in which most model updates only modify a subset of all decision variables. We theoretically prove the convergence of our proposed algorithm to stationary points for non-convex general form consensus problems with possibly non-smooth regularizers. We implement the proposed ADMM algorithm on the Parameter Server framework and demonstrate its convergence and near-linear speedup performance as the number of workers increases.

研究の動機と目的

• 既存の非同期分散ADMM手法が全パラメータのロックに依存するというスケーラビリティのボトルネックを解消し、非同期であっても更新を直列化する問題に対処すること。
• 分散サーバー間でモデルパラメータブロックを独立して更新可能にすることで、スパース最適化における効率的な並列処理を実現すること。
• 一般形のコアリジョン問題に非滑らか正則化子を適用した場合でも、遅延が有界であるという仮定の下で停留点への収束を理論的に保証するアルゴリズムの開発。
• パラメータサーバー・フレームワークを用いて、実世界の大規模スパースデータセットにおいて、実用的なスケーラビリティと収束性を実証すること。

提案手法

• 全モデルパラメータのロックを回避するため、各ワーカーがモデルパラメータの一部（ブロック）のみを更新するブロック単位のADMM定式化を提案する。
• 収束を保証するため、遅延に依存するペナルティパラメータ $\rho_{i,j}$ と遅延依存項 $\gamma$ を導入する。
• 複数のサーバー・ノードを備えたパラメータサーバー・アーキテクチャを採用し、各サーバーがコアリジョン変数 $\mathbf{z}$ のブロックを格納することで、分散的かつ同時的な更新を可能にする。
• ワーカーが他のワーカーを待たずに座標を順に巡回し、独立してブロックを更新する非同期更新メカニズムを採用する。
• 双対上昇と増強ラグランジュ関数に基づくコアリジョンベースのADMM更新ルールを適用し、各ワーカーは局所的なデータと部分的なモデルパラメータを用いてサブプロブレムを解く。
• 高次元スパース設定における発散を防ぐために、学習の安定化のためのクリッピング機構 $\|\mathbf{x}\|_\infty \leq C$ を採用する。

実験結果

リサーチクエスチョン

• RQ1 ブロック単位で非同期的なADMMアルゴリズムは、遅延が有界である条件下で、非凸・非滑らかなコアリジョン最適化問題に収束するか？
• RQ2 分散ADMMにおける全パラメータのロックを排除することで、大規模スパース学習タスクにおいて近似線形のスループット向上が達成されるか？
• RQ3 提案手法は、既存の同期的またはロック付き非同期ADMM手法と比較して、実世界のスパースデータセットにおいて実用的に高い性能を示すか？
• RQ4 遅延の上限とペナルティパラメータの選定が、収束性と学習安定性に与える影響は何か？

主な発見

• AsyBADMMは近似線形のスループット向上を達成：2000万特徴量・3億0500万非ゼロ要素を有するスパーステキストデータセットにおいて、32ワーカーで100イテレーション実行した場合、スループット向上は29.83倍に達する。
• 遅延が有界であるという仮定の下で、非凸・非滑らかな目的関数に対しても、停留点への収束が保証され、KKT条件を満たす解に収束する。
• 18台のc4.largeインスタンスを用いたAmazon EC2上での実験では、ワーカー数が1〜32の全範囲で、目的関数の収束が安定していることが確認された。
• 100イテレーションの実行時間は、1ワーカーのとき6802秒から32ワーカーのとき228秒にまで短縮され、強力なスケーラビリティが示された。
• 非同期更新と許容可能な遅延に対しても、図2(a)および(b)の目的関数プロットから、収束が維持されていることが確認された。
• すべての実験において、$\gamma = 0.01$ および $\rho_{i,j} = 100$ の選定が、学習の安定性と収束性を保証した。