[论文解读] FedRec: Privacy-Preserving News Recommendation with Federated Learning

Tao Qi, Fangzhao Wu+3 more|arXiv (Cornell University)|Mar 21, 2020

Privacy-Preserving Technologies in Data参考文献 18被引用 18

一句话总结

FedRec 提出了一种基于联邦学习的新闻推荐系统，该系统在用户设备上本地训练模型，同时通过本地差分隐私（LDP）保护用户隐私。通过聚合经过 LDP 保护的本地计算梯度并迭代更新全局模型，FedRec 实现了无需集中存储敏感用户行为数据的高精度推荐性能。

ABSTRACT

News recommendation aims to display news articles to users based on their personal interest. Existing news recommendation methods rely on centralized storage of user behavior data for model training, which may lead to privacy concerns and risks due to the privacy-sensitive nature of user behaviors. In this paper, we propose a privacy-preserving method for news recommendation model training based on federated learning, where the user behavior data is locally stored on user devices. Our method can leverage the useful information in the behaviors of massive users to train accurate news recommendation models and meanwhile remove the need to centralized storage of them. More specifically, on each user device we keep a local copy of the news recommendation model, and compute gradients of the local model based on the user behaviors in this device. The local gradients from a group of randomly selected users are uploaded to server, which are further aggregated to update the global model in the server. Since the model gradients may contain some implicit private information, we apply local differential privacy (LDP) to them before uploading for better privacy protection. The updated global model is then distributed to each user device for local model update. We repeat this process for multiple rounds. Extensive experiments on a real-world dataset show the effectiveness of our method in news recommendation model training with privacy protection.

研究动机与目标

• 解决集中式新闻推荐系统中存储敏感用户行为数据所引发的隐私风险。
• 在不收集或集中存储用户行为日志的情况下，实现高精度的新闻推荐。
• 通过在上传前对模型梯度应用本地差分隐私（LDP），保护用户隐私。
• 设计一种联邦学习框架，使用户在本地训练和更新模型，同时为全局模型做出贡献。
• 在真实场景中评估推荐精度与隐私保护之间的权衡。

提出的方法

• 每个用户设备维护一份新闻推荐模型的本地副本，并基于本地用户行为数据计算梯度。
• 随机选择一部分用户将其本地计算的梯度上传至中央服务器进行聚合。
• 在上传前对梯度应用本地差分隐私（LDP），以防止对用户私密行为的推断。
• 服务器将经过隐私保护的梯度进行聚合，以更新全局推荐模型。
• 更新后的全局模型随后被发送回所有用户设备，用于本地模型的重新训练。
• 该过程在多轮迭代中重复进行，以在保护用户隐私的同时提升模型性能。

实验结果

研究问题

• RQ1 联邦学习框架能否在不集中存储用户行为数据的情况下，有效训练出高精度的新闻推荐模型？
• RQ2 对模型梯度应用本地差分隐私（LDP）如何影响推荐精度与隐私保障？
• RQ3 与集中式基线相比，所提出的 FedRec 系统在推荐质量方面表现如何？
• RQ4 当用户数量增加以及 LDP 的隐私预算变化时，系统性能如何变化？
• RQ5 FedRec 中的迭代模型更新过程是否能实现收敛并提升推荐效果？

主要发现

• 与集中式基线相比，FedRec 在推荐精度方面表现具有竞争力，表明基于梯度聚合的本地训练可生成有效模型。
• 对梯度应用本地差分隐私（LDP）显著增强了用户隐私保护，且未对模型性能造成显著影响。
• 即使在强隐私约束下，系统仍能保持较高的推荐质量，这在真实世界数据集上的标准评估指标中得到验证。
• 多轮迭代的联邦训练过程使全局模型实现稳定收敛。
• 该方法有效消除了对敏感用户行为数据集中存储的需求，从而缓解了主要的隐私风险。