[論文レビュー] PFA: Privacy-preserving Federated Adaptation for Effective Model Personalization

Bingyan Liu, Yao Guo+1 more|arXiv (Cornell University)|Mar 2, 2021

Privacy-Preserving Technologies in Data参考文献 61被引用数 4

ひとこと要約

本稿では、スパarsityに基づく表現を用いて類似したデータ分布を持つクライアントをグループ化することで、プライバシーを守りながらフェデレーテッドモデルの共同パーソナライゼーションを可能にする、PFAと呼ばれるプライバシー保護型フェデレーテッド適応フレームワークを提案する。生データを共有せずに類似クライアント間でグローバルモデルを適応させることで、PFAはローカル微調整に比べてパーソナライゼーション性能を顕著に向上させるとともに、プライバシーを確保する。

ABSTRACT

Federated learning (FL) has become a prevalent distributed machine learning paradigm with improved privacy. After learning, the resulting federated model should be further personalized to each different client. While several methods have been proposed to achieve personalization, they are typically limited to a single local device, which may incur bias or overfitting since data in a single device is extremely limited. In this paper, we attempt to realize personalization beyond a single client. The motivation is that during FL, there may exist many clients with similar data distribution, and thus the personalization performance could be significantly boosted if these similar clients can cooperate with each other. Inspired by this, this paper introduces a new concept called federated adaptation, targeting at adapting the trained model in a federated manner to achieve better personalization results. However, the key challenge for federated adaptation is that we could not outsource any raw data from the client during adaptation, due to privacy concerns. In this paper, we propose PFA, a framework to accomplish Privacy-preserving Federated Adaptation. PFA leverages the sparsity property of neural networks to generate privacy-preserving representations and uses them to efficiently identify clients with similar data distributions. Based on the grouping results, PFA conducts an FL process in a group-wise way on the federated model to accomplish the adaptation. For evaluation, we manually construct several practical FL datasets based on public datasets in order to simulate both the class-imbalance and background-difference conditions. Extensive experiments on these datasets and popular model architectures demonstrate the effectiveness of PFA, outperforming other state-of-the-art methods by a large margin while ensuring user privacy. We will release our code at: https://github.com/lebyni/PFA.

研究の動機と目的

• 単一クライアントのデータでの微調整に限定される既存のパーソナライゼーション手法の限界に対処すること。これは、小規模なローカルデータ量のため過学習のリスクを伴う。
• 複数の類似したデータ分布を持つクライアントが共同でグローバルモデルを適応する、フェデレーテッド適応という新たなパラダイムを検討すること。
• 協力するクライアント間ですら生データの交換を避けることで、適応段階におけるプライバシーを確保すること。
• モデルのスパarsityに基づくスケーラブルで効率的なクライアントグループ化手法を開発すること。
• クラスの不均衡や背景の違いを再現する、現実的で手作業で構築されたFLデータセットを用いてフレームワークを評価すること。

提案手法

• PFAは、事前に訓練されたフェデレーテッドモデルにおける活性化されたニューロンのスパarsityパターンを、各クライアントのプライバシー保護型表現として用いる。
• これらのスパarsityベクトルは最終全結合層から計算され、コサイン類似度を用いてクライアント間の類似度を測定する。
• スパarsityベクトルの類似度に基づいてクライアントがグループ化され、類似したデータ分布を持つクライアントがクラスタを形成する。
• 各グループ内で、生データではなくモデルパラメータのみを用いて、グローバルモデルの共同適応を実行するフェデレーテッド学習プロセスが再び実施される。
• フレームワークは、スパarsityベクトルへのノイズ注入を許容することで微分プライバシーを確保できるが、これは今後の課題として残されている。
• 本手法は、クライアントおよびサーバーの最終適応モデルを超えて生データやモデル重みを送信しないことで、データ漏洩を回避する。

実験結果

リサーチクエスチョン

• RQ1 複数の類似クライアント間で共同でモデルを適応するフェデレーテッド適応は、単一クライアントの微調整をはるかに上回るパーソナライゼーション性能を実現できるか？
• RQ2 特に厳密なプライバシー制約下でも、生データを共有せずにクライアントの類似度を効果的に測定する方法は何か？
• RQ3 ニューラルネットワークの活性化におけるスパarsityパターンは、データ分布の類似度を信頼性高くかつプライバシー保護型に代理することができるか？
• RQ4 スパarsityに基づくクラスタリングを用いたグループ単位のフェデレーテッド適応は、ローカル適応と比較して一般化性能が向上し、過学習が軽減されるか？
• RQ5 PFAは、クラスの不均衡や背景の変動といった現実的な非IID状況下でも効果を発揮するか？

主な発見

• PFAは、合成データおよび現実世界のシミュレートされたFLデータセットの両方において、ローカル微調整や知識蒸留を含む最先端のパーソナライゼーション手法を大きく上回る性能を発揮する。
• スパarsityに基づく表現の使用により、生データを暴露せずに正確なクライアントクラスタリングが可能となり、クライアントグループ化における類似度検出精度が高水準を維持する。
• グループ単位の適応は、特にローカルデータ量が少ない場合に顕著に過学習とバイアスを低減する。
• 適応段階中に生データやモデルパラメータを一切共有しないため、フレームワークは強力なプライバシー保証を維持する。
• 実験では、クラス不均衡や背景が異なるデータ分布を含む多様な非IID環境でも、PFAはより高いテスト精度を達成する。
• アブレーションスタディの結果、スパarsityに基づくクライアントグループ化は、ランダムまたはヒューリスティックベースのグループ化よりもパーソナライゼーションにおいて優れていることが確認された。