[论文解读] Federated Collaborative Filtering for Privacy-Preserving Personalized Recommendation System

Muhammad Ammad-ud-din, Elena Ivannikova+5 more|arXiv (Cornell University)|Jan 29, 2019

Privacy-Preserving Technologies in Data参考文献 33被引用 215

一句话总结

该论文提出第一个联邦协同过滤（FCF），在服务器更新项目因子，在客户端更新用户因子，达到与标准CF相当的准确性，同时保护用户隐私。

ABSTRACT

The increasing interest in user privacy is leading to new privacy preserving machine learning paradigms. In the Federated Learning paradigm, a master machine learning model is distributed to user clients, the clients use their locally stored data and model for both inference and calculating model updates. The model updates are sent back and aggregated on the server to update the master model then redistributed to the clients. In this paradigm, the user data never leaves the client, greatly enhancing the user' privacy, in contrast to the traditional paradigm of collecting, storing and processing user data on a backend server beyond the user's control. In this paper we introduce, as far as we are aware, the first federated implementation of a Collaborative Filter. The federated updates to the model are based on a stochastic gradient approach. As a classical case study in machine learning, we explore a personalized recommendation system based on users' implicit feedback and demonstrate the method's applicability to both the MovieLens and an in-house dataset. Empirical validation confirms a collaborative filter can be federated without a loss of accuracy compared to a standard implementation, hence enhancing the user's privacy in a widely used recommender application while maintaining recommender performance.

研究动机与目标

• 在类似 GDPR 的制度下，推动隐私保护的个性化推荐。
• 为推荐系统中的隐式反馈开发一个联邦化的矩阵分解版本。
• 证明联邦更新可以在保持用户数据在本地的同时，达到与标准 CF 相同的准确性。
• 提供一种隐私设计为先的解决方案，在聚合时不需要客户端身份信息。

提出的方法

• 用 X（用户因子）和 Y（物品因子）以及置信矩阵 C^u 来对带有隐式反馈的 CF 进行形式化。
• 将物品因子 Y 分发到服务器，在每个客户端使用本地数据本地更新用户因子 X。
• 计算并聚合客户端梯度 f(u,i) 以通过 SGD/Adam 优化在服务器上更新 Y。
• 使用基于自适应 Adam 的梯度下降来更新 Y，并确保收敛到 CF 最优解。
• 通过不要求用户身份并在交换梯度时将交互保留在设备上来确保隐私。
• 展示收敛性并在 MovieLens、仿真数据和内部数据集上与标准 CF 进行比较。

实验结果

研究问题

• RQ1 CF 模型能在不暴露用户交互数据的情况下实现联邦化吗？
• RQ2 相比非联邦 CF，联邦协作过滤（FCF）是否能保持 CF 的准确性？
• RQ3 在 FCF 中哪些训练动态和超参数（如学习率、Adam 参数）能确保稳定收敛？
• RQ4 在真实与合成数据的隐式反馈数据集上，FCF 的表现如何？
• RQ5 隐私保护设计在典型的联邦学习挑战（如非独立同分布数据）下是否稳健？

主要发现

• FCF 收敛到与标准 CF 相同的最优解（在足够多的 SGD 步数后差异接近 0%）。
• 在 MovieLens、In-House 和仿真数据上，CF 与 FCF 在各指标上的表现几乎相同，平均 diff% < 0.5%。
• 贝叶斯相关性t检验显示 CF 与 FCF 在精度上统计等效的概率很高（约 0.999），在 ±0.5% 范围内。
• 基于 Adam 的自适应学习在广泛的隐式置信度 α 值范围内稳定收敛。
• FCF 通过将用户数据保留在设备上并在聚合梯度时不使用身份信息来保护隐私。