[論文レビュー] Federated User Representation Learning

Duc Viet Bui, Kshitiz Malik+5 more|arXiv (Cornell University)|Sep 27, 2019

Privacy-Preserving Technologies in Data参考文献 27被引用数 37

ひとこと要約

FURL はモデルパラメータをフェデレーテッドとプライベートな部分に分割し、ユーザー埋め込みをデバイス上に保持してプライバシーを保護しつつ、FLでほぼ中央集権的なパーソナライズ性能を達成します。

ABSTRACT

Collaborative personalization, such as through learned user representations (embeddings), can improve the prediction accuracy of neural-network-based models significantly. We propose Federated User Representation Learning (FURL), a simple, scalable, privacy-preserving and resource-efficient way to utilize existing neural personalization techniques in the Federated Learning (FL) setting. FURL divides model parameters into federated and private parameters. Private parameters, such as private user embeddings, are trained locally, but unlike federated parameters, they are not transferred to or averaged on the server. We show theoretically that this parameter split does not affect training for most model personalization approaches. Storing user embeddings locally not only preserves user privacy, but also improves memory locality of personalization compared to on-server training. We evaluate FURL on two datasets, demonstrating a significant improvement in model quality with 8% and 51% performance increases, and approximately the same level of performance as centralized training with only 0% and 4% reductions. Furthermore, we show that user embeddings learned in FL and the centralized setting have a very similar structure, indicating that FURL can learn collaboratively through the shared parameters while preserving user privacy.

研究の動機と目的

• FLにおける共同のパーソナライゼーションとプライバシーの課題を動機付ける。
• プライベートなユーザー埋め込みをデバイス上に保持するパラメータ分割アプローチを導入する。
• 分割パーソナライゼーションが性能を損なわない条件を示す。
• 実証的に、プライバシーを保護しつつFLが中央集権化されたパーソナライゼーションと同等の性能を発揮できることを示す。

提案手法

• ニューラルパーソナライゼーションモデルにおけるフェデレーテッドパラメータとプライベートパラメータを定義する。
• 性能低下を保証しない分割パーソナライゼーションの制約（独立した局所トレーニングと独立した集約）を証明する。
• Federated Averagingとプライベートパラメータ更新を用いたFURLのトレーニングワークフローを説明する。
• プライベートパラメータは局所的に訓練され、集約時には単にデバイス上に保持されることを示す。
• LSTMベースのモデルとユーザー埋め込みを用いた2つの文書分類データセットで評価する。
• 標準FLへの最小限の変更で実現できる単純でスケーラブルなアプローチを示す。

実験結果

リサーチクエスチョン

• RQ1 プライベートなユーザー埋め込みに依存するパーソナライゼーション手法は、性能を犠牲にすることなくFLに適用できるか？
• RQ2 パラメータをフェデレーテッドとプライベートの部分に分割することでモデル品質を保持できる条件は何か？
• RQ3 FURLは精度とプライバシー保護の点で中央集権的トレーニングとどう比較されるか？
• RQ4 FLで学習されたユーザー埋め込みは、構造的に中央集権的に学習された埋め込みと似ているか？

主な発見

設定	Sticker (AUC)	Subreddit (Accuracy)
Global Server	57.75%	28.93%
Personalized Server	65.60%	66.13%
Global FL	57.24%	11.90%
Personalized FL	65.63%	62.41%

• FURLはStickerデータセットとSubredditデータセットで、それぞれ8%と51%のパーソナライゼーションによる改善をもたらす。
• FLでは、同じデータセットに対して中央集権トレーニングに近い性能を達成し、同様に0%および4%の低下にとどまる。
• FLで学習されたユーザー埋め込みは、中央集権トレーニングで学習された埋め込みと同様の構造を示し、類似ユーザーが一緒にクラスタリングされる埋め込み可視化で示される。
• プライベート埋め込みによるパーソナライゼーションは、サーバーベースとFLの両方の設定で性能を大幅に向上させる。
• Global aggregation time in FURL scales linearly with the number of users, which is favorable compared to quadratic scaling in some alternative approaches.
• The training process preserves privacy by keeping private embeddings on-device while sharing only federated parameters.