[論文レビュー] On Privacy and Personalization in Cross-Silo Federated Learning

Ziyu Liu, Shengyuan Hu+2 more|arXiv (Cornell University)|Jun 16, 2022

Privacy-Preserving Technologies in Data被引用数 20

ひとこと要約

この論文はクロスサイロFLのためのシロ特異的サンプルレベルDPを提案し、平均正則化マルチタスク学習（MR-MTL）がプライバシー下の強力なパーソナライズベースラインであることを示す。理論と実証結果は、プライバシー-ヘテロogeneityトレードオフを分析する。

ABSTRACT

While the application of differential privacy (DP) has been well-studied in cross-device federated learning (FL), there is a lack of work considering DP and its implications for cross-silo FL, a setting characterized by a limited number of clients each containing many data subjects. In cross-silo FL, usual notions of client-level DP are less suitable as real-world privacy regulations typically concern the in-silo data subjects rather than the silos themselves. In this work, we instead consider an alternative notion of silo-specific sample-level DP, where silos set their own privacy targets for their local examples. Under this setting, we reconsider the roles of personalization in federated learning. In particular, we show that mean-regularized multi-task learning (MR-MTL), a simple personalization framework, is a strong baseline for cross-silo FL: under stronger privacy requirements, silos are incentivized to federate more with each other to mitigate DP noise, resulting in consistent improvements relative to standard baseline methods. We provide an empirical study of competing methods as well as a theoretical characterization of MR-MTL for mean estimation, highlighting the interplay between privacy and cross-silo data heterogeneity. Our work serves to establish baselines for private cross-silo FL as well as identify key directions of future work in this area.

研究の動機と目的

• シロ特異的サンプルレベル差分プライバシーを、シロ自身の保護ではなくローカル個人の保護を目的とする現実的なプライバシーモデルとしてクロスサイロFLに提案する。
• このプライバシーモデルの下で、プライバシー、データのヘテロ性、およびパーソナライゼーションがどのように相互作用するかを調査する。
• シロ特異的DPの下で、標準的なFLパーソナライゼーションベースラインを評価し、MR-MTLを強力で低オーバーヘッドなベースラインとして同定する。
• 平均推定設定におけるMR-MTLの理論解析を提供し、プライバシー-ヘテロ性の相互作用を特徴づける。
• プライベートなクロスサイロFLベースラインの実用的考慮事項と今後の方向性を検討する。

提案手法

• 各シロが自分の局所データに対して独自の（εk, δk）を選択するシロ特異的サンプルレベルDPを導入する。
• 各シロ内でDP-SGDを適用してTラウンドにわたるモデル更新をプライバシー保護する。
• 局所トレーニング、FedAvg、局所ファインチューニング、Ditto、Mocha、IFCA/HypCluster、MR-MTLを共有プライバシ予算の下で評価する。
• MR-MTLのソフト正則化が個別化モデルをグローバル平均に近づけ、局所トレーニングとFedAvgの間を最小限のプライバシーオーバーヘッドで補間することを示す。
• 平均推定のためのMR-MTLの理論解析を提供し、最適な正則化強度λ*と推定誤差への影響を導出する。
• ハイパーパラメータチューニングのプライバシーコストと実用展開への影響について検討する。

実験結果

リサーチクエスチョン

• RQ1 シロ特異的サンプルレベルDPはクロスサイロ設定における一般的なFLベースラインの有用性にどのように影響するか？
• RQ2 シロ特異的DPの下で、MR-MTLによるパーソナライゼーションは局所トレーニングやFedAvgと比べてより良いプライバシー-有用性のトレードオフを提供できるか？
• RQ3 クロスサイロデータのヘテロ性はDPノイズとどのように相互作用し、パーソナライゼーションはそれをどのように緩和できるか？
• RQ4 プライバシー制約下の平均推定シナリオにおけるMR-MTLの理論的挙動はどのようになるか？

主な発見

• MR-MTLは複数のクロスサイロデータセットにわたってシロ特異的DPの下で一連のベースラインを一貫して上回る。
• 同じプライバシ予算の下で、MR-MTLは様々なε値の範囲で局所トレーニングとFedAvgよりも良い有用性を提供し、パーソナライゼーションスペクトルの強力な中間点として機能する。
• MR-MTLはエンドポイントと比べてプライバシーオーバーヘッドを追加せず、ソフト制約を通じてノイズ低減効果を提供する。
• 理論的結果は、プライバシーノイズとヘテロogeneityのバランスをとる最適な正則化強度λ*を特定し、MR-MTLが平均推定においてMMSE最適となり得ることを示す。
• ハイパーパラメータチューニングからのプライバシーオーバーヘッドは、DP下でのMR-MTLおよび他のパーソナライゼーション手法の実用性に影響を与える可能性がある。
• MR-MTLの有効性は構造化されたヘテロ性にも及び、複数クラスター分布を扱うためにクラスタリングでウォームスタートできる。