[論文レビュー] Federated Collaborative Filtering for Privacy-Preserving Personalized Recommendation System

Muhammad Ammad-ud-din, Elena Ivannikova+5 more|arXiv (Cornell University)|Jan 29, 2019

Privacy-Preserving Technologies in Data参考文献 33被引用数 215

ひとこと要約

本論文は、アイテム因子をサーバー上で、ユーザー因子をクライアント側で更新する初の連合協調フィルタリング（FCF）を提案し、ユーザープライバシーを維持しつつ標準的なCFと同等の精度を達成する。

ABSTRACT

The increasing interest in user privacy is leading to new privacy preserving machine learning paradigms. In the Federated Learning paradigm, a master machine learning model is distributed to user clients, the clients use their locally stored data and model for both inference and calculating model updates. The model updates are sent back and aggregated on the server to update the master model then redistributed to the clients. In this paradigm, the user data never leaves the client, greatly enhancing the user' privacy, in contrast to the traditional paradigm of collecting, storing and processing user data on a backend server beyond the user's control. In this paper we introduce, as far as we are aware, the first federated implementation of a Collaborative Filter. The federated updates to the model are based on a stochastic gradient approach. As a classical case study in machine learning, we explore a personalized recommendation system based on users' implicit feedback and demonstrate the method's applicability to both the MovieLens and an in-house dataset. Empirical validation confirms a collaborative filter can be federated without a loss of accuracy compared to a standard implementation, hence enhancing the user's privacy in a widely used recommender application while maintaining recommender performance.

研究の動機と目的

• GDPR様式の規制の下でプライバシー保護された個別推奨を動機づける。
• レコメンダーシステムにおける暗黙的フィードバックの行列因子分解の連合版を開発する。
• フェデレーテッド更新がユーザーデータを端末に保持しつつ標準CFの精度に匹敵することを示す。
• 集合化においてクライアントの身份を必要としない、プライバシー・バイ・デザインの解決策を提供する。

提案手法

• 暗黙的フィードバックを用いるCFを、ユーザー因子Xとアイテム因子Y、信頼度行列C^uを用いて定式化する。
• アイテム因子Yをサーバー上で分布させ、各クライアント上でローカルデータを用いてユーザー因子Xを局所更新する。
• クライアントの勾配f(u,i)を計算・集約して、サーバー上のYをSGD/Adam最適化で更新する。
• 適応型Adamベースの勾配降下を用いてYを更新し、CFの最適解への収束を保証する。
• アイデンティティ情報を要求せず、対話を端末内に保つことでプライバシーを確保しつつ勾配を交換する。
• MovieLens、シミュレーション、社内データセットで収束を示し、標準CFと比較する。

実験結果

リサーチクエスチョン

• RQ1 ユーザーの相互作用データを公開せずにCFモデルを連合化できるか。
• RQ2 Federated Collaborative Filtering (FCF)は非連合CFと比較してCFの精度を保持するか。
• RQ3 FCFにおいて安定した収束を確保する学習ダイナミクスとハイパーパラメータ（例：学習率、Adamパラメータ）は何か。
• RQ4 FCFは実データと合成データを跨る暗黙的フィードバックデータセットでどのように性能を発揮するか。
• RQ5 プライバシー保護設計は、iidでないデータなどフェデレーテッド学習の一般的な課題に対して頑健か。

主な発見

指標	CF	FCF	差分 %
精度	0.3008 b1 0.0079	0.2993 b1 0.0083	0.4987
再現率	0.1342 b1 0.0044	0.134 b1 0.0046	0.149
F1	0.1552 b1 0.0047	0.1548 b1 0.0049	0.2577
MAP	0.2175 b1 0.008	0.2155 b1 0.0082	0.9195
RMSE	0.6988 b1 0.056	0.6994 b1 0.0558	0.086

• FCFは標準CFと同じ最適解に収束する（十分なSGDステップ後、差分は0%に近づく）。
• MovieLens、In-House、シミュレーションデータで、CFとFCFは指標間でほぼ同等の性能を示し、平均差分%は< 0.5%。
• ベイズ相関 t検定により、CFとFCFが±0.5%の精度範囲で統計的に等価である確率が高い（約0.999）。
• Adamベースの適応学習により、暗黙的信頼度αの広い範囲で収束が安定する。
• FCFはユーザーデータを端末内に保持し、アイデンティティ情報なしに勾配更新を集約することでプライバシーを保つ。