[論文レビュー] Communication-Efficient ADMM-based Federated Learning

Shenglong Zhou, Geoffrey Ye Li|arXiv (Cornell University)|Oct 28, 2021

Privacy-Preserving Technologies in Data参考文献 38被引用数 16

ひとこと要約

本稿では、グローバルアグリゲーションの間で複数回の局所更新を実行することで通信ラウンドを削減する、通信効率の高いADMMベースの分散学習アルゴリズムであるCEADMMおよびICEADMMを提案する。両手法とも、データがi.i.d.でないか、強い凸性を仮定しないような弱い条件下でも線形収束を達成するが、ICEADMMは不正確な更新により計算コストをさらに低減しつつ、精度を維持する。

ABSTRACT

Federated learning has shown its advances over the last few years but is facing many challenges, such as how algorithms save communication resources, how they reduce computational costs, and whether they converge. To address these issues, this paper proposes exact and inexact ADMM-based federated learning. They are not only communication-efficient but also converge linearly under very mild conditions, such as convexity-free and irrelevance to data distributions. Moreover, the inexact version has low computational complexity, thereby alleviating the computational burdens significantly.

研究の動機と目的

• グローバルアグリゲーションの回数を減らすことで、分散学習における高い通信オーバーヘッドに対処する。
• モデルの精度を損なわせずに、分散学習における計算複雑度を低減する。
• 凸性の仮定なし、データ分布の独立性を前提とした最小限の仮定の下で、グローバル収束を線形速度で達成する。
• 収束性や精度を損なわず、学習を高速化する不正確なバージョンを開発する。

提案手法

• グローバルアグリゲーションの間に$k_0$回の局所反復を実行する、正確なADMMベースの分散学習アルゴリズムであるCEADMMを提案する。これにより通信ラウンドを削減する。
• ADMMの部分問題の解を近似する不正確なバージョンであるICEADMMを設計し、1反復あたりの計算コストを顕著に低減する。
• 大規模かつ分散型の学習環境におけるスケーラビリティと効率性を向上させるために、線形化された不正確なADMMフレームワークを導入する。
• 局所クライアントがプライム変数と双対変数を同時に更新するデュアル分解アプローチを採用し、中央サーバーが定期的に結果をアグリゲートする。
• 最適化問題をコンSENSUS形式に定式化することで、分散計算を可能にしつつ、収束保証を維持する。
• 標準的な分散学習と線形化された不正確なADMMとの関係を活用し、分散学習が提案フレームワークの特殊ケースであることを示す。

実験結果

リサーチクエスチョン

• RQ1 ADMMベースの分散学習は、データがi.i.d.でないか、強い凸性を仮定しない条件下でも線形収束を達成できるか？
• RQ2 グローバルアグリゲーションの間の局所反復回数$k_0$を増加させることで、通信効率と収束性にどのような影響を与えるか？
• RQ3 ADMMにおける不正確な更新は、収束性やモデル精度を劣化させることなく計算コストを低減できるか？
• RQ4 ADMMベースの分散学習において、通信効率、計算コスト、収束速度の間にはどのようなトレードオフがあるか？

主な発見

• CEADMMは、凸性の仮定なし、データ分布の独立性を前提とした弱い条件下でも、定常点への線形収束を達成する。
• $k_0$を増加させることで通信ラウンドが削減される。例えば、$m=30$クライアントの場合、$k_0=20$ではIADMMの約118回からICEADMMでは約20回にまで削減される。
• ICEADMMは、CEADMMと同等の収束精度を維持しながら、不正確な部分問題の解を用いることで1反復あたりの計算時間を短縮する。
• 同じ$k_0$の条件下では、ICEADMMはCEADMMよりも反復回数が多くなる（例：$k_0=10$の場合、240 vs. 100）が、1反復あたりのコストが低いことから、全体の学習がより高速に終了する。
• CEADMMの収束速度は$O(k_0/k)$であり、$k_0$が大きいほど1反復あたりの収束速度は遅くなるが、通信コストは顕著に削減される。
• 実験結果から、クライアント数$m$が大きいほど収束に必要な反復回数が減少し、スケーラビリティが向上することが示された。