[論文レビュー] Federated Generative Learning with Foundation Models

Jie Zhang, Xiaohua Qi+1 more|arXiv (Cornell University)|Jun 28, 2023

Privacy-Preserving Technologies in Data被引用数 5

ひとこと要約

本稿では、フェデレーテッド・ジェネレーティブ・ラーニング（FGL）を提案する。FGLは、クライアントとサーバー間でモデルパラメータや勾配の代わりにプロンプトのみを送信する、フェデレーテッドラーニングの新フレームワークである。スタビライズド・ディフュージョンなどのフォーメーション・ジェネレーティブ・モデルを活用することで、サーバーがこれらのプロンプトから高品質なトレーニングデータを合成し、通信効率が著しく向上し、データの非同一性に強く、プライバシー保護が強化される。性能は、ImageNet や DomainNet においても、中央集権的トレーニング環境でも FedAvg を上回る。

ABSTRACT

Existing approaches in Federated Learning (FL) mainly focus on sending model parameters or gradients from clients to a server. However, these methods are plagued by significant inefficiency, privacy, and security concerns. Thanks to the emerging foundation generative models, we propose a novel federated learning framework, namely Federated Generative Learning. In this framework, each client can create text embeddings that are tailored to their local data, and send embeddings to the server. Then the informative training data can be synthesized remotely on the server using foundation generative models with these embeddings, which can benefit FL tasks. Our proposed framework offers several advantages, including increased communication efficiency, robustness to data heterogeneity, substantial performance improvements, and enhanced privacy protection. We validate these benefits through extensive experiments conducted on 12 datasets. For example, on the ImageNet100 dataset with a highly skewed data distribution, our method outperforms FedAvg by 12% in a single communication round, compared to FedAvg's performance over 200 communication rounds. We have released the code for all experiments conducted in this study.

研究の動機と目的

• 従来のフェデレーテッドラーニングで生じる大容量のモデルパラメータや勾配の送信に起因する高い通信コストとプライバシーリスクを解消すること。
• モデルトレーニングと生データの分布シフトを分離することで、フェデレーテッドラーニングにおけるデータ非同一性の課題を克服すること。
• プライバシー制約や所有権の制限により生データを共有できない医療分野など、データ感受性の高い分野においても協働的なモデルトレーニングを可能にすること。
• フォーメーション・ジェネレーティブ・モデルの能力を活用し、最小限でプライバシー保護されたプロンプトから高品質なトレーニングデータを合成すること。
• パラメータ／勾配の交換からプロンプトベースの知識伝達へとフェデレーテッドラーニングのパラダイムを転換し、効率性とセキュリティを向上させること。

提案手法

• クライアントは、ローカルのトレーニングデータを記述するテキストプロンプトのみをサーバーに送信し、通信オーバーヘッドを最小限に抑える。
• サーバーは全クライアントからのプロンプトを集約し、事前学習済みのフォーメーション・ジェネレーティブ・モデル（例：Stable Diffusion）を用いて包括的な代替トレーニングデータセットを合成する。
• グローバルモデルは、合成されたデータセット上でトレーニングされ、元のデータの意味的および分布的特性を保持する。
• このフレームワークは1回の通信ラウンドで動作し、従来の FedAvg と比較してトレーニングラウンドを著しく削減する。
• 生データや勾配の送信を避けることでプライバシーが強化され、現代のディフュージョンモデルの低記憶リスクを活用する。
• サーバーが生データの分布に依存せず、集約されたプロンプトに基づいてデータを合成するため、データ分布のシフトに強く、耐性を示す。

Figure 1: Left: The performance comparison between FedAvg and ours on five ImageNet subsets and a DomainNet subset. Right: Our results consistently outperform FedAvg in different data distributions on ImageSquawk dataset. Note that our 5-round results are better than the centralized training. The ci

実験結果

リサーチクエスチョン

• RQ1 モデルパラメータや勾配の代わりにプロンプトのみを送信することで、フェデレーテッドラーニングを効果的に実現できるか？
• RQ2 従来の方法（例：FedAvg）と比較して、プロンプトベースのフェデレーテッドラーニングは通信コストをどの程度削減できるか？
• RQ3 本手法は、既存のフェデレーテッドラーニングベースラインと比較して、データ非同一性および分布シフトの下でどの程度の性能を示すか？
• RQ4 合成されたデータのプライバシーリスクはどの程度で、メンバー推定攻撃やデータ記憶リスクに対し、フレームワークは耐性を示すか？
• RQ5 合成データ上でトレーニングされたグローバルモデルの性能は、実データを用いた中央集権的トレーニングを上回るか、同等に達するか？

主な発見

• 提案された FGL フレームワークは、ResNet18 を用いた FedAvg と比較して、通信コストを 99.95% 削減し、勾配の 42.7MB に対してプロンプトのみ 229 バイトを送信する。
• ImageNet および DomainNet において、FGL は FedAvg を上回り、一部の設定では中央集権的トレーニングをも凌駆する性能を示し、5ラウンドの FGL が ImageSquawk における中央集権的トレーニングを上回る。
• FGL は、生データの分布に依存せず、集約されたプロンプトからデータを合成するため、データ非同一性に強く、耐性を示す。
• 画像検索および類似度分析の結果、合成画像と元のトレーニングデータとの間に顕著な類似性は認められず、記憶リスクが低く、プライバシー漏洩も最小限であることが示された。
• メンバー推定攻撃の結果、FGL ではメンバーと非メンバーの出力分布の類似度が FedAvg よりも顕著に高いことが判明し、メンバー推定のリスクが低減された。
• FGL では、トレーニングメンバーと非メンバーの損失および信頼度指標の乖離が FedAvg よりも小さく、プライバシー保護の強化が確認された。

Figure 2: The proposed Federated Generative Learning. Firstly, the prompts from clients are uploaded and then aggregated in the server. Then, stable diffusion is used to generate synthetic data for training the global model. The updated model weights are distributed to clients.