[論文レビュー] Adaptive Gradient Sparsification for Efficient Federated Learning: An Online Learning Approach

Pengchao Han, Shiqiang Wang+1 more|arXiv (Cornell University)|Jan 14, 2020

Privacy-Preserving Technologies in Data参考文献 42被引用数 9

ひとこと要約

本稿では、非独立同分布（non-i.i.d.）データおよび異種クライントリソース下で、トレーニング時間を最小化するためにオンライン学習を用いてスパarsityレベルを動的に調整する、適応的勾配スパース化手法を提案する。勾配の符号を推定し、レジーットを最小化するアルゴリズムを用いることで、ベースライン手法に比べて最大40%高いモデル精度を達成し、特に非i.i.d.データおよび変動するクライントリソース条件下で顕著な効果を示す。

ABSTRACT

Federated learning (FL) is an emerging technique for training machine learning models using geographically dispersed data collected by local entities. It includes local computation and synchronization steps. To reduce the communication overhead and improve the overall efficiency of FL, gradient sparsification (GS) can be applied, where instead of the full gradient, only a small subset of important elements of the gradient is communicated. Existing work on GS uses a fixed degree of gradient sparsity for i.i.d.-distributed data within a datacenter. In this paper, we consider adaptive degree of sparsity and non-i.i.d. local datasets. We first present a fairness-aware GS method which ensures that different clients provide a similar amount of updates. Then, with the goal of minimizing the overall training time, we propose a novel online learning formulation and algorithm for automatically determining the near-optimal communication and computation trade-off that is controlled by the degree of gradient sparsity. The online learning algorithm uses an estimated sign of the derivative of the objective function, which gives a regret bound that is asymptotically equal to the case where exact derivative is available. Experiments with real datasets confirm the benefits of our proposed approaches, showing up to $40\%$ improvement in model accuracy for a finite training time.

研究の動機と目的

• 非i.i.d.データおよび異種クライントリソース下で、固定スパarsityの勾配スパース化の非効率性に対処すること。
• 適応的スパarsity選択による通信と計算のバランスを最適化し、総合的なトレーニング時間を最小化すること。
• 上行リンクと下行リンクの両方におけるトップ-k勾配選択を用いて、クライント貢献の公平性を確保すること。
• 勾配符号の推定に基づく最適なスパarsity制御を実現する、証明可能に効率的なオンライン学習アルゴリズムを開発すること。
• 実世界のデータセット上でアプローチを検証し、収束性と精度の向上を示すこと。

提案手法

• 両方の上行リンクと下行リンクの勾配を、クライント間で同じk個の要素を用いてスパース化する、公平性を考慮した双方向トップ-k勾配スパース化（FAB-top-k）を導入する。
• 勾配符号の推定とクライント固有のトレードオフに基づき、最適なスパarsityレベルkを動的に選択するオンライン学習フレームワークを提案する。
• レジーットバウンド解析を用いて、アルゴリズムの性能が正確な勾配微分を有するオラクルの性能に近づくことを示す。
• 収束性と有界なレジーットを保証するため、減少するステップサイズ δₘ = B/√(2m) を用いた投影勾配降下更新則を採用する。
• 凸性と部分勾配の性質を用いて、レジーットの理論的バウンドを導出し、漸近的最適性を示す。
• クライント側の公平性制約を統合し、遅延または能力が低いクライントの未利用を防ぐ。

実験結果

リサーチクエスチョン

• RQ1 フェデレーテッドラーニングにおける変動するクライントの計算および通信能力に適応する勾配スパース化は、どのように実現できるか？
• RQ2 非i.i.i.d.フェデレーテッドラーニング環境下で、トレーニング時間を最小化する最適なスパarsity度は何か？
• RQ3 推定された勾配符号を用いたオンライン学習は、動的スパarsity選択において近似的最適な性能を達成できるか？
• RQ4 双方向勾配スパース化（上行リンクおよび下行リンク）は、クライント間の収束性と公平性にどのように影響を与えるか？
• RQ5 適応的スパarsityは、実データセット上でのモデル精度およびトレーニング効率に顕著な改善をもたらすか？

主な発見

• 提案された適応的勾配スパース化手法は、有限なトレーニング時間内において、固定スパarsityベースラインに比べて最大40%高いモデル精度を達成する。
• 推定された勾配符号を用いたオンライン学習アルゴリズムは、正確な勾配微分を用いた場合と漸近的に同等のレジーットバウンドを達成する。
• 公平性を考慮したFAB-top-kメカニズムにより、クライント貢献がバランスされ、異種クライント間での収束安定性が向上する。
• 理論的解析により、レジーットがO(√M)の割合で増加することが確認され、有界な部分勾配下でのオンライン凸最適化の最適レートと一致する。
• 実データセット上での実験結果により、通信オーバーヘッドを低減しつつ、モデル性能を維持または向上させることの有効性が検証された。
• 本手法は、FedAvgおよび固定kのGSアプローチを上回り、特に非i.i.i.d.データ環境および変動するネットワーク条件下で顕著な優位性を示す。