[論文レビュー] Local-Global Knowledge Distillation in Heterogeneous Federated Learning with Non-IID Data

Dezhong Yao, Wanning Pan+6 more|arXiv (Cornell University)|Jun 30, 2021

Privacy-Preserving Technologies in Data参考文献 35被引用数 36

ひとこと要約

FedGKD は歴史的グローバルモデルのアンサンブルを用いてグローバル知識を局所トレーニングへ蒸留し、非 IID フェデレーテッド学習におけるクライアント・ドリフトを緩和し、FedAvg に比べて通信量が同程度でより高い精度を達成します。

ABSTRACT

Federated learning enables multiple clients to collaboratively learn a global model by periodically aggregating the clients' models without transferring the local data. However, due to the heterogeneity of the system and data, many approaches suffer from the "client-drift" issue that could significantly slow down the convergence of the global model training. As clients perform local updates on heterogeneous data through heterogeneous systems, their local models drift apart. To tackle this issue, one intuitive idea is to guide the local model training by the global teachers, i.e., past global models, where each client learns the global knowledge from past global models via adaptive knowledge distillation techniques. Coming from these insights, we propose a novel approach for heterogeneous federated learning, namely FedGKD, which fuses the knowledge from historical global models for local training to alleviate the "client-drift" issue. In this paper, we evaluate FedGKD with extensive experiments on various CV/NLP datasets (i.e., CIFAR-10/100, Tiny-ImageNet, AG News, SST5) and different heterogeneous settings. The proposed method is guaranteed to converge under common assumptions, and achieves superior empirical accuracy in fewer communication runs than five state-of-the-art methods.

研究の動機と目的

• 非IIDフェデレーテッド学習におけるクライアントドリフトの問題を動機づけ、解決する。
• 代理データの共有やクライアントモデルの変更を必要とせず、コミュニケーション効率の良い知識蒸留フレームワークを提案する。
• アンサンブル蒸留を通じて歴史的グローバルモデルを活用し、局所トレーニングを導く。
• 標準的な FL の仮定の下で理論的収束保証を提供する。
• CV/NLP のデータセットとヘテロジニアスな設定で実証的な利得を示す。

提案手法

• グローバルモデルの蒸留知識を含むクロスエントロピー損失とKL発散ベースの蒸留項を組み合わせた局所目的関数を定式化する：F_k(w) + (gamma / (2 n_k)) sum_{i=1}^{n_k} KL(h_k(w_t, x_{ki}) || h_k(w, x_{ki})).
• 歴史的グローバルアンサンルを導入するため、直近のグローバルモデル M 個を平均してアンサンブル w̄_t を形成し、このアンサンブルを用いて局所モデルへグローバル知識を蒸留する：F_k(w) + (gamma / (2 n_k)) sum_{i=1}^{n_k} KL(h_k(w̄_t, x_{ki}) || h_k(w, x_{ki})).
• FedGKD-Vote を拡張し、過去の複数のグローバルモデル w_{t-m+1} を各モデルの重み gamma_m で局所目的に使用する：F_k(w) + sum_{m=1}^M (gamma_m / (2 n_k)) sum_{i=1}^{n_k} KL(h_k(w_{t-m+1}, x_{ki}) || h_k(w, x_{ki})).
• 標準的な FL の仮定の下で収束解析を提供し、γ、L_h、δ、その他の定数に依存する速度で停留点へ収束することを示す。
• サーバー-クライアント手順、バッファ長 M、通信コスト、プライバシー技術との互換性などの実装の詳細を説明する。

実験結果

リサーチクエスチョン

• RQ1 aggregating and distilling knowledge from historical global models alleviate client drift in non-IID federated learning?
• RQ2 How does FedGKD perform across CV and NLP tasks with varying data heterogeneity and participation ratios?
• RQ3 What are the convergence guarantees of FedGKD under standard smoothness and dissimilarity assumptions?
• RQ4 How does the proposed method compare to existing FL methods in terms of accuracy, communication cost, and training stability?

主な発見

• FedGKD は CIFAR-10/100 および Tiny-ImageNet、さらには NLP タスク（AG News、SST-5）において、さまざまな非 IID 設定の下で FedAvg および FedProx を一貫して上回る。
• グローバルアンサンブルを局所トレーニングの指針として用いることで局所特徴表現が改善され、グローバルモデルの性能が向上する。
• alpha = 0.1（高いヘテロジニティ）の下で、FedGKD は有意な利得を生み出す：Tiny-Imagenet で最大 5.6 ポイント、CIFAR-100 で 1.9、CIFAR-10 で 3.0、AG News で 0.4、SST-5 で 2.8 の改善を実現。
• FedGKD はドリフトを低減し、FedAvg および FedProx よりも学習曲線が滑らかになる；ラウンドとアーキテクチャを跨いでロバスト性が示される。
• FedGKD-Vote および FedGKD+ のバリエーションは特定の設定でさらなる改善を示し、複数の過去モデルを活用する際に FedGKD-Vote が顕著な利得を達成。