[论文解读] A Federated Multi-View Deep Learning Framework for Privacy-Preserving Recommendations

Mingkai Huang, Hao Li+4 more|arXiv (Cornell University)|Aug 25, 2020

Privacy-Preserving Technologies in Data参考文献 23被引用 16

一句话总结

本文提出了一种新型联邦多视角深度学习框架 FL-MV-DSSM，通过联合学习多个用户数据源，在解决冷启动问题的同时增强隐私保护推荐。通过将深度结构化语义模型（DSSM）扩展至联邦多视角设置，该方法在确保通过新型聚合与隐私保护机制实现安全性的前提下，提升了推荐准确性，其性能接近集中式训练。

ABSTRACT

Privacy-preserving recommendations are recently gaining momentum, since the decentralized user data is increasingly harder to collect, by recommendation service providers, due to the serious concerns over user privacy and data security. This situation is further exacerbated by the strict government regulations such as Europe's General Data Privacy Regulations(GDPR). Federated Learning(FL) is a newly developed privacy-preserving machine learning paradigm to bridge data repositories without compromising data security and privacy. Thus many federated recommendation(FedRec) algorithms have been proposed to realize personalized privacy-preserving recommendations. However, existing FedRec algorithms, mostly extended from traditional collaborative filtering(CF) method, cannot address cold-start problem well. In addition, their performance overhead w.r.t. model accuracy, trained in a federated setting, is often non-negligible comparing to centralized recommendations. This paper studies this issue and presents FL-MV-DSSM, a generic content-based federated multi-view recommendation framework that not only addresses the cold-start problem, but also significantly boosts the recommendation performance by learning a federated model from multiple data source for capturing richer user-level features. The new federated multi-view setting, proposed by FL-MV-DSSM, opens new usage models and brings in new security challenges to FL in recommendation scenarios. We prove the security guarantees of \xxx, and empirical evaluations on FL-MV-DSSM and its variations with public datasets demonstrate its effectiveness. Our codes will be released if this paper is accepted.

研究动机与目标

• 通过利用来自多个用户数据视角的内容特征，解决联邦推荐系统中的冷启动问题。
• 通过融合来自不同数据源的更丰富用户级特征，在不集中化原始数据的前提下，提升联邦设置下的推荐性能。
• 提出一种新型联邦多视角学习范式，实现在不同应用（如游戏和应用市场）之间协同模型训练，同时保持数据隐私。
• 通过防止不同数据源和模型组件之间的数据泄露，为新型联邦多视角设置提供强有力的隐私安全保障。
• 通过在公开数据集上的实证评估，证明该框架的有效性，其性能接近集中式训练。

提出的方法

• 将深度结构化语义模型（DSSM）转化为联邦多视角框架（FL-MV-DSSM），以实现在去中心化环境中的基于内容的推荐。
• 设计一种新型联邦聚合机制，安全地整合来自不同视角的多个本地用户模型，同时在所有用户之间共享单一的项目子模型。
• 实现一种半联邦变体（SEMI-FL-MV-DSSM），仅聚合共享的项目子模型，从而减少通信开销并提高收敛稳定性。
• 应用差分隐私与安全聚合技术，保护模型更新，防止不同数据源之间的信息泄露。
• 利用多个用户视角（如来自不同应用的数据）丰富用户表征，提升模型泛化能力与冷启动性能。
• 采用类似 FedAvg 的聚合方式训练模型，结合个性化用户子模型与共享项目子模型，实现可扩展且隐私保护的学习。

实验结果

研究问题

• RQ1 联邦多视角框架是否能通过整合来自多个去中心化数据源的用户特征，有效提升推荐性能？
• RQ2 与传统的联邦协同过滤方法相比，所提出的 FL-MV-DSSM 框架在新用户和新项目上的冷启动问题缓解效果如何？
• RQ3 在多视角推荐中，联邦训练与集中式训练之间的性能差距是多少？是否可通过有效的模型聚合最小化该差距？
• RQ4 在联邦多视角推荐中出现了哪些新的安全挑战？如何应对以防止跨源数据泄露？
• RQ5 仅对项目子模型进行半联邦聚合，是否相比对用户子模型进行完整联邦聚合，能带来更好的性能与稳定性？

主要发现

• 在经过 100 轮训练后，FL-MV-DSSM 在 MovieLens 数据集上的 Precision@10 达到 0.2845 ± 0.0034，显著优于 FL-DSSM（0.2691 ± 0.0015），并在某些指标上与集中式 DSSM（View-1）性能相当。
• SEMI-FL-MV-DSSM 在所有 FedRec 算法中表现最佳，Precision@10 达到 0.3512 ± 0.0070，AUC 达到 0.8986 ± 0.0051，经过 60 轮训练后甚至超过其中一个集中式 DSSM 基线。
• 该框架有效缓解了冷启动问题，对新用户表现出强劲性能（Precision@10: 0.2845 ± 0.0034），优于传统 FedRec 方法如 FCF（0.3010 ± 0.0032）和 FED-MVMF（0.3223 ± 0.0017）。
• 实证结果表明，多视角学习显著增强了模型泛化能力，集中式训练中 View-2 DSSM 的性能（Precision@10: 0.3980 ± 0.0025）显著高于 View-1（0.2804 ± 0.0011）。
• 半联邦变体（SEMI-FL-MV-DSSM）由于用户选择中的随机性降低，性能波动更小，表明训练更加稳定。
• 安全分析证实，该框架可有效防止不同数据源之间的数据泄露，适用于多应用推荐场景的实际部署。