[论文解读] FedCL: Federated Contrastive Learning for Privacy-Preserving Recommendation

Chuhan Wu, Fangzhao Wu+3 more|arXiv (Cornell University)|Apr 21, 2022

Privacy-Preserving Technologies in Data被引用 9

一句话总结

FedCL 提出了一种用于推荐的隐私保护联邦对比学习框架，通过利用本地推断的、本地差分隐私（LDP）保护的用户嵌入，在中央服务器上识别高质量的半硬负样本。通过使用 Ward 聚类对扰动后的嵌入进行聚类，并利用质心进行负样本采样，FedCL 在保护用户隐私的同时提升了模型性能，在四个基准数据集上持续显著提升各类推荐模型的性能（p < 0.001）。

ABSTRACT

Contrastive learning is widely used for recommendation model learning, where selecting representative and informative negative samples is critical. Existing methods usually focus on centralized data, where abundant and high-quality negative samples are easy to obtain. However, centralized user data storage and exploitation may lead to privacy risks and concerns, while decentralized user data on a single client can be too sparse and biased for accurate contrastive learning. In this paper, we propose a federated contrastive learning method named FedCL for privacy-preserving recommendation, which can exploit high-quality negative samples for effective model training with privacy well protected. We first infer user embeddings from local user data through the local model on each client, and then perturb them with local differential privacy (LDP) before sending them to a central server for hard negative sampling. Since individual user embedding contains heavy noise due to LDP, we propose to cluster user embeddings on the server to mitigate the influence of noise, and the cluster centroids are used to retrieve hard negative samples from the item pool. These hard negative samples are delivered to user clients and mixed with the observed negative samples from local data as well as in-batch negatives constructed from positive samples for federated model training. Extensive experiments on four benchmark datasets show FedCL can empower various recommendation methods in a privacy-preserving way.

研究动机与目标

• 解决在本地数据稀疏且有偏的隐私保护推荐系统中获取高质量负样本的挑战。
• 在无需集中存储用户数据的前提下，实现在联邦设置下的有效对比学习，最大限度降低隐私风险。
• 设计一种统一的训练框架，整合本地、批次内和半硬负样本等多种类型的负样本。
• 在差分隐私约束下确保方法的鲁棒性和性能表现，尤其针对噪声扰动的用户嵌入。

提出的方法

• 客户端设备上的本地模型从本地用户资料中推断用户嵌入，而无需共享原始数据。
• 在传输到中央服务器前，用户嵌入通过拉普拉斯噪声进行扰动，以满足本地差分隐私（LDP）要求。
• 服务器对扰动后的嵌入应用 Ward 层次聚类，以减少噪声并识别具有代表性的用户兴趣聚类。
• 利用聚类质心通过基于相似度的采样方法从全局项目池中检索半硬负样本。
• 中央服务器将这些半硬负样本发送回客户端，与本地和批次内负样本结合，用于对比学习训练。
• 采用负样本混合策略，将本地、批次内和半硬负样本统一到单一对比学习目标中，以增强模型泛化能力。

实验结果

研究问题

• RQ1 在不集中存储用户数据的联邦设置下，能否有效识别高质量的负样本？
• RQ2 如何利用本地差分隐私来保护用户嵌入，同时仍能在服务器端实现准确的负样本采样？
• RQ3 对噪声扰动的 LDP 嵌入进行聚类，对检索到的负样本质量有何影响？
• RQ4 在联邦对比学习中，不同类型的负样本（本地、批次内、半硬）对模型性能的贡献如何？
• RQ5 在所提出的框架中，隐私预算与模型性能之间的最优平衡是什么？

主要发现

• FedCL 在四个基准数据集上显著提升了各类推荐模型的性能，与基线相比具有统计学上显著的增益（p < 0.001）。
• 通过联邦采样方法检索的半硬负样本对性能提升贡献最大，优于全局最难负样本，后者常包含虚假负样本。
• 对扰动嵌入进行聚类——尤其是使用 Ward 聚类——显著提高了负样本采样精度，通过降噪实现，且 Ward 聚类优于 K-means。
• 最优聚类数为 25，因为聚类过少（兴趣区分不足）或过多（噪声影响增加）均导致性能下降。
• 隐私预算 ε = 4 实现了隐私保护与模型性能之间的良好平衡，更低的 ε 值（更强噪声）会降低性能。
• 即使本地负样本不可用，该方法仍保持有效，表明半硬负样本采样组件具有强鲁棒性。