[論文レビュー] GADMM: Fast and Communication Efficient Framework for Distributed Machine Learning

Anis Elgabli, Jihong Park+3 more|arXiv (Cornell University)|Aug 30, 2019

Indoor and Outdoor Localization Technologies参考文献 55被引用数 49

ひとこと要約

GADMMは、分散化された二近傍通信スキームを導入し、作業者を2つのグループに分割して通信オーバーヘッドを削減しつつ高速収束を実現します。そして、時間変化するネットワーク向けにDynamic GADMMへ拡張します。

ABSTRACT

When the data is distributed across multiple servers, lowering the communication cost between the servers (or workers) while solving the distributed learning problem is an important problem and is the focus of this paper. In particular, we propose a fast, and communication-efficient decentralized framework to solve the distributed machine learning (DML) problem. The proposed algorithm, Group Alternating Direction Method of Multipliers (GADMM) is based on the Alternating Direction Method of Multipliers (ADMM) framework. The key novelty in GADMM is that it solves the problem in a decentralized topology where at most half of the workers are competing for the limited communication resources at any given time. Moreover, each worker exchanges the locally trained model only with two neighboring workers, thereby training a global model with a lower amount of communication overhead in each exchange. We prove that GADMM converges to the optimal solution for convex loss functions, and numerically show that it converges faster and more communication-efficient than the state-of-the-art communication-efficient algorithms such as the Lazily Aggregated Gradient (LAG) and dual averaging, in linear and logistic regression tasks on synthetic and real datasets. Furthermore, we propose Dynamic GADMM (D-GADMM), a variant of GADMM, and prove its convergence under the time-varying network topology of the workers.

研究の動機と目的

• 大規模 DML における通信効率の高い分散最適化の必要性を動機づける。
• 各反復の通信量を削減する分散型 ADMM ベースのフレームワーク（GADMM）を提案する。
• 二グループ、二近傍通信トポロジーの下で凸損失に対する最適解への収束を保証する。
• 収束性を維持しつつ時間変化するネットワークトポロジーに対応する Dynamic GADMM（D-GADMM）を導入する。

提案手法

• 分散学習を、局所目的関数 f_n とグローバルパラメータ Theta を用いたコンセンサス問題として定式化する。
• 作業者をヘッドグループとテイルグループに分割し、二近傍通信を用いて Theta_n = Theta_{n+1} を強制することで GADMM を開発する。
• 付加ラグランジュ関数と更新ルールを導出し、ヘッド作業者が並列に更新でき、テイル作業者が反復を完了できるようにして、凸問題に対する収束を保証する。
• 蛤 convexity の下で primal-dual 残差と Lyapunov関数を用いて GADMM の最適解への収束を証明する。
• 隣接関係を定期的に更新し、収束保証を維持する時間変化ネットワーク向けに D-GADMM を含むフレームワークを拡張する。

実験結果

リサーチクエスチョン

• RQ1 凸損失関数に対して、分散型 ADMM ベースのアプローチはセントラライズド ADMM と同じ最適性を達成できるか？
• RQ2 中心的な調整なしに分散環境でどのように通信を最小化しつつ収束を維持できるか？
• RQ3 各作業者を二つの隣接者に制限することが収束速度と通信オーバーヘッドに与える影響は？
• RQ4 ネットワークトポロジーの時間変化に適応しつつ収束できるか？
• RQ5 隣接接続をランダム化する（D-GADMM）ことは静的トポロジーで収束速度を改善するか？

主な発見

• GADMM は凸損失関数に対して、二近傍・二グループの通信パターンで最適解へ収束する。
• 本手法は、人工データ・実データの線形回帰およびロジスティック回帰タスクにおいて、セントラライズドADMMやLAG・デュアル平均化などのベースラインより通信オーバーヘッドが低い。
• D-GADMM は GADMM を時間変化ネットワークへ拡張し収束保証を継承しつつ、時間とともに接続を変えることで収束速度を改善する可能性がある。
• 各反復で通信が必要なのは作業者のサブセットのみであり、完全に中央集権的な方式と比べてアップリンク/ダウンリンクのボトルネックを軽減する。
• GADMM はヘッドグループとテイルグループ内で並列更新を可能にし、通信が希薄でも実用的な収束を加速する。