[论文解读] A Survey on Federated Recommendation Systems

Zehua Sun, Yonghui Xu+6 more|arXiv (Cornell University)|Dec 27, 2022

Privacy-Preserving Technologies in Data被引用 10

一句话总结

本综述全面概述了联邦推荐系统（FedRS），分析了隐私保护机制、如投毒攻击等安全威胁、与数据及系统异构性相关的挑战，以及通信开销。它评估了现有解决方案、基准测试和实际应用，为构建隐私感知、可扩展且稳健的联邦推荐系统提供了未来研究路线图。

ABSTRACT

Federated learning has recently been applied to recommendation systems to protect user privacy. In federated learning settings, recommendation systems can train recommendation models only collecting the intermediate parameters instead of the real user data, which greatly enhances the user privacy. Beside, federated recommendation systems enable to collaborate with other data platforms to improve recommended model performance while meeting the regulation and privacy constraints. However, federated recommendation systems faces many new challenges such as privacy, security, heterogeneity and communication costs. While significant research has been conducted in these areas, gaps in the surveying literature still exist. In this survey, we-(1) summarize some common privacy mechanisms used in federated recommendation systems and discuss the advantages and limitations of each mechanism; (2) review some robust aggregation strategies and several novel attacks against security; (3) summarize some approaches to address heterogeneity and communication costs problems; (4)introduce some open source platforms that can be used to build federated recommendation systems; (5) present some prospective research directions in the future. This survey can guide researchers and practitioners understand the research progress in these areas.

研究动机与目标

• 系统性地回顾联邦推荐系统中的隐私保护机制，包括差分隐私和安全聚合。
• 分析新型安全威胁，如模型投毒攻击，并评估现有防御策略。
• 解决联邦推荐设置中因统计、系统和隐私异构性带来的挑战。
• 研究大规模联邦推荐训练与推理中的通信成本问题。
• 识别开放的研究问题，并提出推动联邦推荐系统发展的未来方向。

提出的方法

• 对联邦推荐系统中的隐私机制（如差分隐私、安全聚合和同态加密）进行分类与比较。
• 调研新型攻击向量，如隐私侵入式梯度推断和模型投毒攻击，并评估其检测与防御技术。
• 分析缓解统计与系统异构性的技术，包括个性化联邦学习和自适应客户端选择。
• 评估通信高效方法在联邦推荐中的应用，如模型量化、稀疏化和知识蒸馏。
• 调研去中心化替代方案，如群体学习（swarm learning）和基于 gossip 的联邦学习，以消除对中心化服务器的依赖。
• 回顾激励机制，以公平评估并奖励跨组织联邦推荐设置中客户端的贡献。

Figure 1: Communication architecture of FedRS.

实验结果

研究问题

• RQ1 在联邦推荐系统中，哪些隐私保护机制最为有效，其权衡关系是什么？
• RQ2 投毒攻击如何损害联邦推荐系统，哪些防御措施是有效的？
• RQ3 在 FedRS 中，数据、系统资源和隐私偏好方面的异构性在多大程度上可以被缓解？
• RQ4 哪些技术可降低大规模联邦推荐训练与推理中的通信成本？
• RQ5 在构建可扩展、私密且安全的联邦推荐系统方面，面临的主要挑战和开放研究方向是什么？

主要发现

• 差分隐私和安全聚合提供了强有力的隐私保障，但因噪声注入通常会降低推荐准确性。
• 那些模仿正常用户行为的投毒攻击尤其难以检测，且在缺乏有效防御的情况下会显著降低模型性能。
• 个性化联邦学习和自适应客户端选择在缓解统计与系统异构性方面表现良好，但需精心设计以避免偏差。
• 通信成本仍是主要瓶颈，尤其在包含数百万项的系统中，模型压缩和知识蒸馏等技术有助于减少带宽需求。
• 去中心化框架如群体学习和基于 gossip 的学习减少了对中心服务器的依赖并增强了隐私，但引入了收敛性和协调性方面的新挑战。
• 公平衡量客户端贡献的激励机制对跨组织协作至关重要，但在实践中仍发展不足。

Figure 2: Categorization of federated recommendation systems.