[論文レビュー] Edge-Assisted Hierarchical Federated Learning with Non-IID Data

Lumin Liu, Jun Zhang+2 more|arXiv (Cornell University)|May 16, 2019

Privacy-Preserving Technologies in Data参考文献 8被引用数 52

ひとこと要約

本稿では、非独立同分布（non-IID）データ下でも通信オーバーヘッドを低減し、モデル性能を向上させるために、モバイルエッジコンピューティングを用いた階層的フェデレーテッドラーニングフレームワークを提案する。エッジサーバーで局所的なモデルアグリゲーションを実行し、その後クラウドでグローバルアグリゲーションを行うことで、階層的フェデレーテッドアveraging（HierFAVG）アルゴリズムは、凸および非凸の目的関数において収束を達成し、標準的なFedAvgと比較して通信ラウンド数を顕著に削減しながらも、高いモデル精度を維持する。

ABSTRACT

Federated Learning (FL) is capable of leveraging massively distributed private data, e.g., on mobile phones and IoT devices, to collaboratively train a shared machine learning model with the help of a cloud server. However, its iterative training process results in intolerable communication latency, and causes huge burdens on the backbone network. Thus, reducing the communication overhead is critical to implement FL in practice. Meanwhile, the model performance degradation due to the unique non-IID data distribution at different devices is another big issue for FL. In this paper, by introducing the mobile edge computing platform as an intermediary structure, we propose a hierarchical FL architecture to reduce the communication rounds between users and the cloud. In particular, a Hierarchical Federated Averaging (HierFAVG) algorithm is proposed, which allows multiple local aggregations at each edge server before one global aggregation at the cloud. We establish the convergence of HierFAVG for both convex and non-convex objective functions with non-IID user data. It is demonstrated that HierFAVG can reach a desired model performance with less communication, and outperform the traditional Federated Averaging algorithm.

研究の動機と目的

• フェデレーテッドラーニングにおける通信遅延とバックボーンネットワーク負荷を低減するため、エッジ支援型の階層的アーキテクチャを導入すること。
• FLシステムにおける端末間の非IIDsデータ分布が引き起こすモデル性能の低下を是正すること。
• クラウドでのグローバルアグリゲーションの前に、エッジサーバーで複数回の局所的アグリゲーションを可能にする通信効率の高いトレーニングアルゴリズムを設計すること。
• 非IIDsデータ条件下で、凸および非凸最適化設定の両方において、提案アルゴリズムの収束性を理論的に確立すること。

提案手法

• エッジサーバーがエンドデバイスと中央クラウドサーバーの間の仲介者として機能する階層的FLアーキテクチャを導入する。
• エッジサーバーで複数回の局所的モデルアグリゲーションを可能にする、階層的フェデレーテッドアveraging（HierFAVG）アルゴリズムを提案する。
• 二段階のアグリゲーションプロセスを採用：まずエッジサーバーで所属クラスタ内のデバイス間で局所的平均化を行い、次にクラウドでグローバル平均化を実行する。
• 理論的分析により、非IIDsデータ条件下で、凸および非凸の目的関数に対してHierFAVGの収束性が保証されることを証明する。
• モバイルエッジコンピューティングを活用し、クラウドからの計算および通信負荷を軽減することで、エンドツーエンドの遅延を低減する。
• 標準的なFedAvgスタイルのモデルアベレージングを採用しているが、階層的レイヤーに跨って拡張することで、グローバル通信ラウンド数を最小限に抑える。

実験結果

リサーチクエスチョン

• RQ1 エッジサーバーを有する階層的FLアーキテクチャは、フェデレーテッドラーニングにおけるクライアントとクラウド間の通信ラウンド数を削減できるか？
• RQ2 提案されたHierFAVGアルゴリズムは、非IIDsデータ分布下で収束性およびモデル精度の観点でどのように性能を発揮するか？
• RQ3 非IIDsデータを伴う凸および非凸最適化問題において、HierFAVGの理論的収束挙動はいかなるものか？
• RQ4 通信効率およびモデル品質の観点から、HierFAVGは標準的なFedAvgと比較してどのように性能を発揮するか？

主な発見

• HierFAVGは、非IIDsデータ分布下でも、凸および非凸の目的関数に対して収束を達成する。
• 提案されたアルゴリズムは、所望のモデル性能に到達するための通信ラウンド数を、標準的なFedAvgと比較して削減する。
• エッジサーバーでの局所的アグリゲーションにより、非IIDsデータによるモデル性能の低下が緩和される。
• 同じトレーニング条件下で、通信効率および最終的なモデル精度の両面で、HierFAVGは従来のFedAvgを上回る性能を発揮する。