[論文レビュー] HeteroFL: Computation and Communication Efficient Federated Learning for Heterogeneous Clients

Enmao Diao, Jie Ding+1 more|arXiv (Cornell University)|Oct 3, 2020

Privacy-Preserving Technologies in Data参考文献 35被引用数 179

ひとこと要約

HeteroFL enables training of heterogeneous local models with varying computation and communication capabilities and aggregates them into a single global model without requiring identical architectures. It introduces sBN, Masked Cross-Entropy, and a subnetwork distribution scheme to stabilize aggregation and improve efficiency.

ABSTRACT

Federated Learning (FL) is a method of training machine learning models on private data distributed over a large number of possibly heterogeneous clients such as mobile phones and IoT devices. In this work, we propose a new federated learning framework named HeteroFL to address heterogeneous clients equipped with very different computation and communication capabilities. Our solution can enable the training of heterogeneous local models with varying computation complexities and still produce a single global inference model. For the first time, our method challenges the underlying assumption of existing work that local models have to share the same architecture as the global model. We demonstrate several strategies to enhance FL training and conduct extensive empirical evaluations, including five computation complexity levels of three model architecture on three datasets. We show that adaptively distributing subnetworks according to clients' capabilities is both computation and communication efficient.

研究の動機と目的

• クライアントデバイスの計算・通信能力が多様な場合にフェデレーテッドラーニングを動機づける。
• 異種の局所モデルを訓練し、単一のグローバルモデルに集約するフレームワークを提案する。
• 訓練効率を向上させ、均衡した非IIDデータに対する堅牢性を高める。
• 異種設定で学習を安定化させ、プライバシーを守る手法を導入する。

提案手法

• 局所モデルが異なる幅を持てるよう、グローバルモデルのサブネットワークを複数の計算複雑さレベルでクライアントへ分配する。
• パラメータをクライアント間で互いに重ならない部分集合で集約し、グローバルモデルを形成する（パラメータ分割の全域結合）。
• ランニング統計を共有しないよう、Static Batch Normalization (sBN) を用いる；訓練ラウンド後にグローバルBN統計を更新する。
• トレーニング中に表現をスケールする Scaler モジュールを追加し、サブネットワークサイズの差を補償する。
• クライアントに存在しないクラスの出力をマスクして非IIDデータをバランスさせるため、Masked Cross-Entropy Loss を適用する。

実験結果

リサーチクエスチョン

• RQ1 異なるアーキテクチャやサイズを持つ異種の局所モデルを、単一の正確なグローバルモデルを生み出すようにフェデレーテッドラーニングの枠組みで訓練できるか。
• RQ2 異種の局所モデルを安定に集約し、変動するクライアント能力全体で訓練効率を確保するにはどうすればよいか。
• RQ3 均衡/非均衡な非IIDデータの下で、プライバシーと性能を最もよく保つ正規化と損失戦略は何か。
• RQ4 クライアントの能力の動的変化は収束と最終精度にどう影響するか。

主な発見

• HeteroFLは異種の局所モデルを訓練し、それらを追加の計算オーバーヘッドなしで単一のグローバルモデルに集約できる。
• クライアント能力に応じた適応的なサブネットワーク分配は、計算・通信コストを削減しつつ競争力のある精度をもたらす。
• Static BNとMasked Cross-Entropyは、均衡な非IIDデータシナリオで安定性と性能を向上させる。
• 本手法は、局所能力の動的変化や異なるモデルアーキテクチャ（CNN、PreResNet18、Transformer）に対する頑健性を示す。