[论文解读] Federated Recommendation with Additive Personalization

Zhiwei Li, Guodong Long+1 more|arXiv (Cornell University)|Jan 22, 2023

Privacy-Preserving Technologies in Data被引用 7

一句话总结

FedRAP 提出了一种联邦推荐框架，通过将全局项目嵌入与用户特定的加法个性化相结合，在降低通信成本的同时提升个性化效果。通过逐步引入正则化并强制全局嵌入的稀疏性，FedRAP 在六个基准测试中实现了最先进性能，优于现有的联邦推荐方法。

ABSTRACT

Building recommendation systems via federated learning (FL) is a new emerging challenge for advancing next-generation Internet service and privacy protection. Existing approaches train shared item embedding by FL while keeping the user embedding private on client side. However, item embedding identical for all clients cannot capture users' individual differences on perceiving the same item and thus leads to poor personalization. Moreover, dense item embedding in FL results in expensive communication cost and latency. To address these challenges, we propose Federated Recommendation with Additive Personalization (FedRAP), which learns a global view of items via FL and a personalized view locally on each user. FedRAP enforces sparsity of the global view to save FL's communication cost and encourages difference between the two views through regularization. We propose an effective curriculum to learn the local and global views progressively with increasing regularization weights. To produce recommendations for an user, FedRAP adds the two views together to obtain a personalized item embedding. FedRAP achieves the best performance in FL setting on multiple benchmarks. It outperforms recent federated recommendation methods and several ablation study baselines.

研究动机与目标

• 解决现有联邦推荐系统使用相同全局项目嵌入的问题，这些嵌入无法捕捉用户对项目的个性化感知。
• 通过在全局项目嵌入矩阵中强制稀疏性，降低联邦学习中的通信开销。
• 通过互补的双视角嵌入机制，平衡全局知识共享与本地个性化。
• 缓解由于过早引入加法个性化而导致的早期训练阶段性能下降问题。
• 通过仅共享压缩后的全局嵌入，同时将用户数据和个性化嵌入保留在本地，实现隐私保护的推荐。

提出的方法

• FedRAP 将项目嵌入建模为一个全局共享的稀疏矩阵 C 和一个用户特定的密集矩阵 D^(i) 的和，从而实现加法个性化。
• 对 C 应用稀疏性正则化，通过最小化全局嵌入中的非零参数来降低通信成本。
• 通过互补正则化强制 C 和 D^(i) 之间的差异，确保两种视角不冗余。
• 采用课程学习策略，逐步增加正则化权重，从完全个性化开始，逐步过渡到加法个性化，以避免早期性能下降。
• 模型在每个客户端本地训练，使用用户特定的评分数据，并通过服务器聚合更新 C，从而保护用户数据隐私。
• 通过仅向 C 添加高斯噪声，应用差分隐私，最大限度减少性能下降，同时确保隐私。

实验结果

研究问题

• RQ1 在联邦设置中，项目嵌入的加法个性化是否能在保护用户隐私的同时提升推荐性能？
• RQ2 在全局项目嵌入矩阵 C 中强制稀疏性如何影响通信效率和模型性能？
• RQ3 一种渐进式引入加法个性化的课程学习策略是否能改善收敛性并避免早期性能下降？
• RQ4 针对全局和本地嵌入之间稀疏性和多样性的互补正则化如何影响模型泛化能力？
• RQ5 与全模型噪声注入相比，FedRAP 在差分隐私约束下能多大程度上保持性能？

主要发现

• FedRAP 在六个真实世界基准测试中优于最先进联邦推荐方法，HR@10 和 NDCG@10 得分最高。
• 消融实验表明，与基线相比，稀疏性正则化使 C 中非零参数数量减少了 15.5%，显著降低了通信成本。
• 采用课程学习的 FedRAP 在差分隐私下性能下降仅为 4.09% 至 9.93%，远低于全模型噪声注入。
• 对 C 和 D^(i) 的可视化显示，与 FedRAP-L2 相比，FedRAP 学习到的全局嵌入更稀疏（C 中大于 1e-1 的元素占比为 4.19%，而 FedRAP-L2 为 8.07%），证实了稀疏性强制的有效性。
• 即使在注入噪声的情况下，模型仍保持强性能，表明仅对 C 进行差分隐私更新已足够且有效，可实现隐私保护。
• 消融结果表明，过早引入加法个性化会降低性能，验证了课程学习策略的必要性。