[論文レビュー] FedGEMS: Federated Learning of Larger Server Models via Selective Knowledge Fusion

Sijie Cheng, Jingwen Wu+3 more|arXiv (Cornell University)|Oct 21, 2021

Privacy-Preserving Technologies in Data参考文献 33被引用数 25

ひとこと要約

FedGEMS は複数のクライアントとサーバー自身の知識を選択的に統合することにより、連合学習におけるより大きなサーバーモデルを実現し、サーバーとクライアントの両方の性能を向上させ、ロバスト性を高め、通信コストを削減します。

ABSTRACT

Today data is often scattered among billions of resource-constrained edge devices with security and privacy constraints. Federated Learning (FL) has emerged as a viable solution to learn a global model while keeping data private, but the model complexity of FL is impeded by the computation resources of edge nodes. In this work, we investigate a novel paradigm to take advantage of a powerful server model to break through model capacity in FL. By selectively learning from multiple teacher clients and itself, a server model develops in-depth knowledge and transfers its knowledge back to clients in return to boost their respective performance. Our proposed framework achieves superior performance on both server and client models and provides several advantages in a unified framework, including flexibility for heterogeneous client architectures, robustness to poisoning attacks, and communication efficiency between clients and server on various image classification tasks.

研究の動機と目的

• 大規模サーバーモデル（GEM）を取り入れた連合学習とクライアント資源制限の克服の橋渡しを動機づける。
• 大規模サーバーモデルを訓練し、知識を異種クライアントへ転送するための選択的知識融合フレームワーク（FedGEMS）を提案する。
• 選択的集約と蒸留によって、 poisoning 攻撃に対する頑健性を高め、通信オーバーヘッドを低減する。
• 同質・異種設定の画像分類タスクにおいて、KD ベースの FL ベースラインより優れていることを示す。

提案手法

• サーバーのより大きなモデルがクライアント知識と自分自身の知識から学習するフレームワークとして FedGEM を導入する。
• 知識量の多いクライアントを選択し、それらの寄与をサーバーに重み付けする選択的知識融合基準を用いて FedGEMS を開発する。
• 正しいロジットのメモリプールを用いたサーバーの自己蒸留と、正しくないサンプルに対する信頼できるクライアントからのアンサンブル蒸留を実装する。
• サーバーからクライアントへの蒸留をクライアントサイドで有効にし、 private データでの局所訓練を強化する。
• 通信ラウンドごとにサーバーとクライアントの更新を交互に実行する訓練プロセスを提供し、サーバー知識を蓄積しクライアント性能を高める。

実験結果

リサーチクエスチョン

• RQ1 FL における大規模サーバーモデルは知識融合を通じてサーバーとクライアントの両方の性能を向上させるか。
• RQ2 選択的知識融合は既存の KD ベース FL 手法と比較して poisoning 攻撃に対する頑健性を向上させるか。
• RQ3 サーバーモデルサイズ、クライアント数、公開データ/非公開データの比率が性能と通信コストに与える影響は何か。
• RQ4 異種クライアントアーキテクチャは FedGEMS における知識転送の忠実度にどのように影響するか。
• RQ5 フレームワークは精度を維持または向上させつつ通信をどの程度削減できるか。

主な発見

• FedGEMS は同質・異種設定のいずれにおいてもサーバーおよびクライアントの性能で KD ベースの FL ベースラインを一貫して上回る。
• 複数クライアントからの選択的融合とサーバー自身の蒸留を組み合わせると、非選択的手法よりサーバー知識の蓄積が強力になり、クライアントの結果も改善される。
• 本フレームワークはサーバーおよびクライアントのモデルに対する poisoning 攻撃に対する頑健性を示す。
• FedGEMS はいくつかのベースラインと比較して目標精度に到達するまでの累積通信コストを低く抑えつつ、最高精度を維持または向上させる。
• アブレーション研究は、自己蒸留、アンサンブル蒸留、自己訓練が全てサーバー知識蓄積に寄与し、特に自己訓練が大きな影響を与えることを示す。