[論文レビュー] FedRec: Privacy-Preserving News Recommendation with Federated Learning

Tao Qi, Fangzhao Wu+3 more|arXiv (Cornell University)|Mar 21, 2020

Privacy-Preserving Technologies in Data参考文献 18被引用数 18

ひとこと要約

FedRecは、ローカル微分プライバシー（LDP）を用いてプライバシーを保護するフェデレーテッドラーニングベースのニュース推薦システムを提案する。ユーザー端末上でモデルをローカルに学習させ、中央集権的なユーザー行動データの保存を避けながら、正確な推薦性能を達成する。ローカルで計算された勾配をLDPで保護して集約し、反復的にグローバルモデルを更新することで実現される。

ABSTRACT

News recommendation aims to display news articles to users based on their personal interest. Existing news recommendation methods rely on centralized storage of user behavior data for model training, which may lead to privacy concerns and risks due to the privacy-sensitive nature of user behaviors. In this paper, we propose a privacy-preserving method for news recommendation model training based on federated learning, where the user behavior data is locally stored on user devices. Our method can leverage the useful information in the behaviors of massive users to train accurate news recommendation models and meanwhile remove the need to centralized storage of them. More specifically, on each user device we keep a local copy of the news recommendation model, and compute gradients of the local model based on the user behaviors in this device. The local gradients from a group of randomly selected users are uploaded to server, which are further aggregated to update the global model in the server. Since the model gradients may contain some implicit private information, we apply local differential privacy (LDP) to them before uploading for better privacy protection. The updated global model is then distributed to each user device for local model update. We repeat this process for multiple rounds. Extensive experiments on a real-world dataset show the effectiveness of our method in news recommendation model training with privacy protection.

研究の動機と目的

• 中央集権的なニュース推薦システムが機微なユーザー行動データを保存するリスクを軽減すること。
• ユーザー行動ログの収集や中央集権的保存を伴わずに正確なニュース推薦を実現すること。
• アップロード前にモデル勾配にローカル微分プライバシー（LDP）を適用することでユーザーのプライバシーを保護すること。
• ユーザーがローカルでモデルを学習・更新しながらグローバルモデルに貢献するフェデレーテッドラーニングフレームワークを設計すること。
• 実世界の環境において、推薦精度とプライバシー保護のトレードオフを評価すること。

提案手法

• 各ユーザー端末はニュース推薦モデルのローカルコピーを保持し、ローカルユーザー行動データに基づいて勾配を計算する。
• ユーザーのランダムサブセットが、ローカルで計算された勾配を中央サーバーにアップロードして集約する。
• プライベートなユーザー行動の推定を防ぐために、アップロード前に勾配にローカル微分プライバシー（LDP）を適用する。
• サーバーはプライバシー保護された勾配を集約し、グローバル推薦モデルを更新する。
• 更新されたグローバルモデルは、すべてのユーザー端末に送信され、ローカルモデルの再トレーニングに使用される。
• 複数ラウンドにわたりこのプロセスを繰り返すことで、ユーザーのプライバシーを保ちながらモデル性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 中央集権的なユーザー行動データを保存せずに、フェデレーテッドラーニングフレームワークが正確なニュース推薦モデルを効果的に学習できるか。
• RQ2 モデル勾配にローカル微分プライバシー（LDP）を適用すると、推薦精度とプライバシー保証にどのような影響を与えるか。
• RQ3 提案されたFedRecシステムの推薦品質は、中央集権ベースラインと比較してどの程度の性能を示すか。
• RQ4 LDPにおけるプライバシー予算の変動やユーザー数の増加に伴い、システムのスケーラビリティはどのように変化するか。
• RQ5 FedRecにおける反復的モデル更新プロセスは収束を示し、推薦効果を向上させるか。

主な発見

• FedRecは、中央集権ベースラインと比較して競争力のあるニュース推薦精度を達成しており、勾配集約を伴うローカル学習が効果的なモデルを生成できることを示している。
• 勾配にローカル微分プライバシー（LDP）を適用することで、ユーザーのプライバシーが顕著に向上し、モデル性能の著しい低下も伴わない。
• 標準的な評価指標を用いた実世界データセット上での測定において、強いプライバシー制約下でも高い推薦品質を維持している。
• 反復的フェデレーテッドトレーニングプロセスにより、複数ラウンドにわたりグローバルモデルの安定的収束が達成された。
• この手法により、機微なユーザー行動データの中央集権的保存の必要性が完全に排除され、主要なプライバシーリスクが軽減された。