[論文レビュー] Global Knowledge Distillation in Federated Learning.

Wanning Pan, Lichao Sun|arXiv (Cornell University)|Jun 30, 2021

Privacy-Preserving Technologies in Data参考文献 39被引用数 4

ひとこと要約

本稿では、非i.i.d.データ環境下でのローカル学習バイアスを軽減するために、過去のグローバルモデルを活用するグローバル知識蒸留手法であるFedGKDを提案する。過去のグローバルモデルからの知識をローカルクライアントに蒸留することで、FedGKDは収束性と精度を向上させ、非i.i.d.データ条件下でのCIFAR-10/100において最先端の手法を上回る性能を発揮する。

ABSTRACT

Knowledge distillation has caught a lot of attention in Federated Learning (FL) recently. It has the advantage for FL to train on heterogeneous clients which have different data size and data structure. However, data samples across all devices are usually not independent and identically distributed (non-i.i.d), posing additional challenges to the convergence and speed of federated learning. As FL randomly asks the clients to join the training process and each client only learns from local non-i.i.d data, which makes learning processing even slower. In order to solve this problem, an intuitive idea is using the global model to guide local training. In this paper, we propose a novel global knowledge distillation method, named FedGKD, which learns the knowledge from past global models to tackle down the local bias training problem. By learning from global knowledge and consistent with current local models, FedGKD learns a global knowledge model in FL. To demonstrate the effectiveness of the proposed method, we conduct extensive experiments on various CV datasets (CIFAR-10/100) and settings (non-i.i.d data). The evaluation results show that FedGKD outperforms previous state-of-the-art methods.

研究の動機と目的

• 異種クライアント間での非i.i.i.d.データによるフェデレーテッドラーニングにおけるローカルモデルバイアスの課題に対処すること。
• 非i.i.i.d.データおよびランダムなクライアント参加の影響を軽減することで、FLにおける収束速度とモデル性能を向上させること。
• ローカルクライアントが以前のトレーニングラウンドで蓄積されたグローバル知識の恩恵を受けることができる手法を開発すること。
• 過去のグローバル知識をローカルトレーニングプロセスに統合することで、多様なクライアントデータ分布におけるモデルの汎化性能とロバスト性を向上させること。

提案手法

• 過去のグローバルモデルをローカルクライアントの知識源として活用する、新規のグローバル知識蒸留フレームワークであるFedGKDを提案する。
• ローカルの学生モデルと過去のグローバルの教師モデルとの間で知識蒸留損失を統合し、ローカル更新をグローバル知識と整合させる。
• 複数の以前のグローバルモデルからの蒸留を適用することで、ローカルモデルとグローバル知識の整合性を維持する。
• ローカルデータ損失と、過去のグローバルモデルからの蒸留損失の組み合わせでローカルモデルを訓練することで、バイアスを低減する。
• トレーニングの進行状況に応じて関連性の高い過去のグローバルモデルを動的に選択し、知識転送の効率を向上させる。
• モデルアーキテクチャと特徴表現の整合性を保つことで、ローカルとグローバル知識の間の適合性を確保する。

実験結果

リサーチクエスチョン

• RQ1 過去のグローバルモデルからの知識蒸留は、非i.i.i.d.フェデレーテッドラーニング環境下でのローカルモデルの収束性を向上させることができるか？
• RQ2 FedGKDは、既存の知識蒸留およびFL手法と比較して、精度と収束速度の面で優れているか？
• RQ3 ヒステリカルグローバル知識を用いることで、異種的かつ非i.i.i.d.データ環境下でのローカルモデルバイアスはどの程度軽減されるか？
• RQ4 グローバル知識の統合により、多様なクライアントデータ分布における汎化性能とロバスト性が向上するか？

主な発見

• FedGKDは、非i.i.i.d.データ環境下でCIFAR-10およびCIFAR-100において、最先端の手法を上回る高いテスト精度を達成する。
• 過去のグローバルモデルからの知識蒸留によってローカルモデルバイアスが低減されるため、収束が速くなる。
• 特に非i.i.i.d.性が顕著な状況では、標準的なFLが収束に苦労するが、性能向上が顕著に見られる。
• 複数の過去のグローバルモデルを蒸留源として用いることで、知識転送の質とモデルの安定性が向上する。
• 異なるクライアント参加率やデータ非同一性レベルにおいても、一貫した性能を維持する。
• ランダムなクライアント選択および非i.i.i.d.データがグローバルモデル品質に与える悪影響を効果的に軽減する。