[論文レビュー] Personalization Improves Privacy-Accuracy Tradeoffs in Federated Learning

Alberto Bietti, Chen-Yu Wei+3 more|arXiv (Cornell University)|Feb 10, 2022

Privacy-Preserving Technologies in Data被引用数 7

ひとこと要約

本稿では、グローバルモデルの更新とローカルのパーソナライゼーションのバランスをとることで、プライバシーと精度のトレードオフを改善するパーソナライズド・フェデレーテッドラーニングフレームワークを提案する。パーソナライゼーションパラメータ𝛼を調整することにより、ローカル学習によってプライバシーコストを低減しつつ、グローバルモデルの効率を維持し、ユーザーレベルの微分プライバシー下でもより良い一般化性能を達成する。

ABSTRACT

Large-scale machine learning systems often involve data distributed across a collection of users. Federated learning algorithms leverage this structure by communicating model updates to a central server, rather than entire datasets. In this paper, we study stochastic optimization algorithms for a personalized federated learning setting involving local and global models subject to user-level (joint) differential privacy. While learning a private global model induces a cost of privacy, local learning is perfectly private. We provide generalization guarantees showing that coordinating local learning with private centralized learning yields a generically useful and improved tradeoff between accuracy and privacy. We illustrate our theoretical results with experiments on synthetic and real-world datasets.

研究の動機と目的

• フェデレーテッドラーニングにおけるモデルの精度とユーザーレベルの微分プライバシーの間のトレードオフを解消すること。
• プライバシー保証によるグローバルモデル学習における精度コストを、パーソナライゼーションが低減できるかどうかを調査すること。
• パーソナライゼーションのレベルを変化させた場合、プライバシー制約下での一般化にどのように影響するかを形式化し分析すること。
• 実験的に、パーソナライズド・フェデレーテッドラーニングが多様なデータセットにおいてプライバシーと精度のトレードオフを改善することを検証すること。

提案手法

• ユーザーレベルの微分プライバシーを統合したパーソナライズド・フェデレーテッドラーニングのための確率的最適化フレームワークを提案する。
• グローバル更新とローカル更新の相対的ステップサイズを制御するパーソナライゼーションパラメータ𝛼を導入する。
• 一般化バウンドを導出し、過剰リスクが統計項（nに依存して減少）とプライバシー項（𝛼と𝜖に依存）に分解されることを示す。
• 凸最適化設定を用いて理論的保証を証明し、𝛼 → 0（ローカル学習）のときプライバシーコストが消滅することを示す。
• 反復回数がユーザーあたりのサンプル数（n）に対応するフェデレーテッドプライベート確率的勾配法を採用する。
• 合成データ、Stackoverflow、EMNISTデータセットに本手法を適用し、𝛼とプライバシー予算𝜖を変化させ、トレードオフを評価する。

実験結果

リサーチクエスチョン

• RQ1 パーソナライゼーションは、フェデレーテッドラーニングにおけるユーザーレベルの微分プライバシーの精度コストを低減できるか？
• RQ2 パーソナライゼーションのレベル（𝛼で制御）は、プライバシーとモデル精度のトレードオフにどのように影響するか？
• RQ3 本質的にプライベートなローカル学習は、同じプライバシー予算下でグローバル学習を上回る性能を示すか？
• RQ4 どのような状況下で、パーソナライゼーションが標準的なグローバル学習と比較して、プライバシーと精度のトレードオフを顕著に改善するか？
• RQ5 異なるデータ分布（例：共有 vs. ユーザー固有）は、最適なパーソナライゼーションレベルにどのように影響するか？

主な発見

• 合成データでは、約200反復目（ユーザーあたり2000サンプル）以降、高プライバシーノイズ下で完全なローカル学習（𝛼=0）がグローバル学習（𝛼=∞）を上回る性能を示す。
• Stackoverflowデータセットでは、プライバシーなしでは中程度のパーソナライゼーション（𝛼=10）が最良の精度を達成するが、プライバシー制約下では低𝛼が最良の性能を示す。
• フェデレーテッドEMNISTでは、ローカルオンativeモデル（𝛼=0）は共有表現学習の欠如により性能が低いが、小さな𝛼でもプライバシーと精度のトレードオフが改善される。
• 深層モデル（例：4層CNN）を用いた非凸設定でも、小さな𝛼がグローバル学習がプライバシーなしでより精度が高かったとしても、プライバシーと精度のトレードオフを改善する。
• 理論的分析により、𝛼 → 0 のときプライバシーコスト項が消滅し、より多くのデータで統計誤差が減少することを示し、柔軟なトレードオフが可能となる。
• 実験により、パーソナライゼーションパラメータ𝛼の調整が、多様な実世界および合成データセットにおいて、プライバシーと精度のトレードオフを体系的に改善できることを確認した。