[論文レビュー] Local Averaging Helps: Hierarchical Federated Learning and Convergence Analysis.

Jiayi Wang, Shiqiang Wang+2 more|arXiv (Cornell University)|Oct 24, 2020

Privacy-Preserving Technologies in Data参考文献 26被引用数 46

ひとこと要約

本稿では、中間ハブでのローカル平均化を導入することで、グローバル通信の頻度を低減し、通信効率を向上させるため、確率的勾配降下法を用いた階層的フェデレーテッドラーニング（HF-SGD）を提案する。理論的分析により、ローカル平均化が収束速度とモデル精度を向上させることを示し、特に計算および通信制約が厳しい環境下でも有効であることが判明。実験結果により、その利点が裏付けられている。

ABSTRACT

Federated learning is an effective approach to realize collaborative learning among edge devices without exchanging raw data. In practice, these devices may connect to local hubs instead of connecting to the global server (aggregator) directly. Due to the (possibly limited) computation capability of these local hubs, it is reasonable to assume that they can perform simple averaging operations. A natural question is whether such local averaging is beneficial under different system parameters and how much gain can be obtained compared to the case without such averaging. In this paper, we study hierarchical federated learning with stochastic gradient descent (HF-SGD) and conduct a thorough theoretical analysis to analyze its convergence behavior. In particular, we first consider the two-level HF-SGD (one level of local averaging) and then extend this result to arbitrary number of levels (multiple levels of local averaging). The analysis demonstrates the impact of local averaging precisely as a function of system parameters. Due to the higher communication cost of global averaging, a strategy of decreasing the global averaging frequency and increasing the local averaging frequency is proposed. Experiments validate the proposed theoretical analysis and the advantages of HF-SGD.

研究の動機と目的

• 階層的フェデレーテッドラーニングにおけるローカル平均化の影響が収束性および通信効率に与える影響を調査すること。
• ローカルおよびグローバル平均化の頻度といったシステムパラメータがモデル性能に与える影響を分析すること。
• グローバル平均化頻度を低下させつつローカル平均化頻度を増加させることで通信コストを低減する戦略を提案すること。
• 2段階の階層的フェデレーテッドラーニングから、任意の段階数の階層的フェデレーテッドラーニングシステムへの理論的収束分析を拡張すること。

提案手法

• 本稿では、エッジデバイスがまずローカルモデル更新を実行し、その後ローカルハブで平均化した後、グローバル集約を実施する2段階のHF-SGDフレームワークを導入する。
• このフレームワークを、現実のフェデレーテッドシステムにおける階層的通信構造をモデル化するために、複数段階のローカル平均化へと拡張する。
• 確率的勾配降下法の下で理論的収束分析を実施し、ローカルおよびグローバル平均化頻度を含むシステムパラメータの関数として収束速度を導出する。
• ローカル平均化がグローバルモデル更新の分散を低減し、収束速度を向上させることを示すことで、その利点を定量的に評価する。
• 通信効率の高い戦略を提案：グローバル平均化頻度を低下させつつローカル平均化頻度を増加させることで、高コストなグローバル通信を最小限に抑える。
• 理論的考察を実証するための実験を実施し、さまざまなシステム構成下で収束性とモデル精度が向上することを示した。

実験結果

リサーチクエスチョン

• RQ1 中間ハブにおけるローカル平均化は、フェデレーテッドラーニングの収束速度にどのように影響するか？
• RQ2 階層的フェデレーテッドラーニングにおいて、ローカル平均化とグローバル平均化の頻度の最適なトレードオフは何か？
• RQ3 階層の段階数がモデルの収束性および通信効率にどのように影響するか？
• RQ4 ローカル平均化が分散低減および収束速度に与える理論的影響は何か？
• RQ5 提案されたHF-SGDフレームワークは、通信効率およびモデル精度の面で、標準的なフェデレーテッドラーニングを上回ることができるか？

主な発見

• ローカル平均化により、グローバルモデル更新の分散が低減され、収束速度が顕著に向上する。
• グローバル平均化頻度を低下させ、ローカル平均化頻度を増加させる戦略が、より優れた通信効率を実現する。
• 理論的分析により、ローカル平均化がさまざまなシステムパラメータ下で収束を向上させることを確認した。特に帯域幅が限られたり、遅延が大きい環境下で顕著な効果を示す。
• 実験により理論的考察が裏付けられ、HF-SGDは標準的なフェデレーテッドラーニングに比べて、より速い収束と高いモデル精度を達成した。
• HF-SGDの収束速度が、ローカルおよびグローバル平均化頻度に明示的に依存しており、ローカル平均化を頻繁に実施し、グローバル平均化をあまり頻繁に行わない場合に最適な性能が得られることを示した。