[論文レビュー] Data-Free Knowledge Distillation for Heterogeneous Federated Learning

Zhuangdi Zhu, Junyuan Hong+1 more|PubMed|May 20, 2021

Privacy-Preserving Technologies in Data被引用数 66

ひとこと要約

FeDGenは、代理データを使用せずサーバー上で軽量なジェネレータを学習してアンサンブル知識を局所モデルへ蒸留する、ヘテロジニアスなフェデレーテッドラーニング向けのデータフリー知識蒸留フレームワークを導入します。

ABSTRACT

Federated Learning (FL) is a decentralized machine-learning paradigm in which a global server iteratively aggregates the model parameters of local users without accessing their data. User <i>heterogeneity</i> has imposed significant challenges to FL, which can incur drifted global models that are slow to converge. <i>Knowledge Distillation</i> has recently emerged to tackle this issue, by refining the server model using aggregated knowledge from heterogeneous users, other than directly aggregating their model parameters. This approach, however, depends on a proxy dataset, making it impractical unless such prerequisite is satisfied. Moreover, the ensemble knowledge is not fully utilized to guide local model learning, which may in turn affect the quality of the aggregated model. In this work, we propose a <i>data-free knowledge distillation</i> approach to address heterogeneous FL, where the server learns a lightweight generator to ensemble user information in a data-free manner, which is then broadcasted to users, regulating local training using the learned knowledge as an inductive bias. Empirical studies powered by theoretical implications show that, our approach facilitates FL with better generalization performance using fewer communication rounds, compared with the state-of-the-art.

研究の動機と目的

• 蒸留用の代理データが利用できないフェデレーテッドラーニングにおけるユーザ間の異質性に対処する。
• モデル予測から学習したジェネレーターを利用して局所訓練を補強するデータフリーKD手法を提案する。
• グローバルモデルの改良だけでなく、局所モデルの更新を直接指向する知識蒸留を可能にする。
• プライバシーに敏感なFLシナリオに適した軽量で通信効率の高いフレームワークを提供する。

提案手法

• ターゲットラベル y を与えると、局所ユーザーモデルからアンサンブル一貫性のある予測を誘発する潜在表現 z を生成する条件付きジェネレータ G_w を学習する。
• 式(4)を用いた、ユーザ予測ヘッドのアンサンブル予測とターゲットラベルを揃える損失を最小化して G_w を最適化する。
• クライアントへ G_w をブロードキャストする; クライアントは z ~ G_w(z|y) をサンプルして局所訓練を追加の蒸留項 (式5) によって補強する。
• 特徴抽出器をローカルに保ったまま予測層 (θ^p_k) のみ共有することで、柔軟なパラメータ共有を可能にし、プライバシーと通信負荷を低減する。

実験結果

リサーチクエスチョン

• RQ1 代理データを持たずに、データフリー知識蒸留はフェデレーテッドラーニングにおける異質性を効果的に緩和できるか？
• RQ2 アンサンブル知識を局所訓練モデルへ蒸留することで、通信ラウンドを減らしても同等かそれ以上の一般化を達成できるか？
• RQ3 クライアント間でのデータの非IID分布の異なる程度で FeDGen はどのように性能を示すか？
• RQ4 グローバルモデルを単に改良するのではなく、知識を局所モデルへ蒸留することの理論的および実証的な利点は何か？

主な発見

Dataset	Setting	FedAvg	FedProx	FedEnsemble	FedDistill	FedDistill +	FedDFusion	FeDGen
Mnist	T=20, α=0.05	87.70 ± 2.07	87.49 ± 2.05	88.85 ± 0.68	70.56 ± 1.24	86.70 ± 2.27	90.02 ± 0.96	91.30 ± 0.74
Mnist	T=20, α=0.1	90.16 ± 0.59	90.10 ± 0.39	90.78 ± 0.39	64.11 ± 1.36	90.28 ± 0.89	91.11 ± 0.43	93.03 ± 0.32
Mnist	T=20, α=1	93.84 ± 0.25	93.83 ± 0.29	93.91 ± 0.28	79.88 ± 0.66	94.73 ± 0.15	93.37 ± 0.40	95.52 ± 0.07
CelebA	r=5/10	87.48 ± 0.39	87.67 ± 0.39	88.48 ± 0.23	76.68 ± 1.23	86.37 ± 0.41	87.01 ± 1.00	89.70 ± 0.32
CelebA	r=5/25	89.13 ± 0.25	88.84 ± 0.19	90.22 ± 0.31	74.99 ± 1.57	88.05 ± 0.43	88.93 ± 0.79	89.62 ± 0.34
CelebA	r=10/25	89.12 ± 0.20	89.01 ± 0.33	90.08 ± 0.24	75.88 ± 1.17	88.14 ± 0.37	89.25 ± 0.56	90.29 ± 0.47
EMnist	T=20, α=0.05	62.25 ± 2.82	61.93 ± 2.31	64.99 ± 0.35	60.49 ± 1.27	61.56 ± 2.15	70.40 ± 0.79	68.53 ± 1.17
EMnist	T=20, α=0.1	66.21 ± 2.43	65.29 ± 2.94	67.53 ± 1.19	50.32 ± 1.39	66.06 ± 3.18	70.94 ± 0.76	72.15 ± 0.21
EMnist	T=20, α=10	74.83 ± 0.69	74.24 ± 0.81	74.90 ± 0.80	54.77 ± 0.33	75.55 ± 0.94	74.36 ± 0.40	78.43 ± 0.74
EMnist	T=20, α=1	74.83 ± 0.99	74.12 ± 0.88	75.12 ± 1.07	46.19 ± 0.70	75.41 ± 1.05	75.43 ± 0.37	78.48 ± 1.04
EMnist	T=40, α=1	77.02 ± 1.09	75.93 ± 0.95	77.68 ± 0.98	46.72 ± 0.73	78.12 ± 0.90	77.58 ± 0.37	78.92 ± 0.73

• FeDGen は MNIST, CelebA, EMNIST の各データセットにおいて、ヘテロジニアスな FL 設定でベースライン（FedAvg, FedProx, FedEnsemble, FedDistill, FedDistill+, FedDFusion）を常に上回る。
• FeDGen はデータ異質性のさまざまなレベル（Dirichlet α の変化）およびアクティブユーザー比に対して頑健である。
• 学習されたジェネレータ G_w は、グローバルデータ分布と整合する集約された潜在分布を捉え、局所の帰納バイアスと一般化を改善する。
• 拡張潜在サンプルを介して局所モデルへ知識を蒸留することは、グローバルモデルのみを改良する方法より有利であり、特に高い異質性下で利点がある。
• 予測層のみを共有する（全モデルを共有せず）ことでも顕著な利得が得られ、プライバシーと通信効率の利点を際立たせる。