[论文解读] FedSPLIT: One-Shot Federated Recommendation System Based on Non-negative Joint Matrix Factorization and Knowledge Distillation

Maksim E. Eren, Luke E. Richards+4 more|arXiv (Cornell University)|May 4, 2022

Recommender Systems and Techniques被引用 8

一句话总结

FedSPLIT 首次提出一种基于非负矩阵分解（NMF）与知识蒸馏的一次性联邦协同过滤推荐系统，实现隐私保护且通信高效的推荐，仅需一次客户端-服务器通信。该方法在基准数据集上达到最先进性能，同时相比多轮联邦方法显著降低了通信成本。

ABSTRACT

Non-negative matrix factorization (NMF) with missing-value completion is a well-known effective Collaborative Filtering (CF) method used to provide personalized user recommendations. However, traditional CF relies on the privacy-invasive collection of users' explicit and implicit feedback to build a central recommender model. One-shot federated learning has recently emerged as a method to mitigate the privacy problem while addressing the traditional communication bottleneck of federated learning. In this paper, we present the first unsupervised one-shot federated CF implementation, named FedSPLIT, based on NMF joint factorization. In our solution, the clients first apply local CF in-parallel to build distinct client-specific recommenders. Then, the privacy-preserving local item patterns and biases from each client are shared with the processor to perform joint factorization in order to extract the global item patterns. Extracted patterns are then aggregated to each client to build the local models via knowledge distillation. In our experiments, we demonstrate the feasibility of our approach with standard recommendation datasets. FedSPLIT can obtain similar results than the state of the art (and even outperform it in certain situations) with a substantial decrease in the number of communications.

研究动机与目标

• 解决传统集中式协同过滤推荐系统中的隐私与通信瓶颈问题。
• 开发一种仅通过单轮通信（一次性）运行的联邦推荐框架，以减少延迟与数据传输量。
• 通过避免直接共享用户-物品交互数据，仅共享潜在因子与偏置，来保护用户隐私。
• 通过使用全局共享的物品模式进行知识蒸馏，提升本地模型性能。
• 在标准推荐数据集上评估该方法，并展示其通信效率与隐私保护能力。

提出的方法

• 客户端在其自身的用户-物品评分矩阵上执行本地非负矩阵分解（NMF），以构建特定于客户端的推荐器。
• 每个客户端仅向中央服务器发送隐私保护的潜在物品因子与偏置，而非原始用户数据。
• 服务器对聚合的客户端物品因子执行联合 NMF，以学习全局物品模式与全局偏置。
• 随后将全局物品模式与偏置发送回客户端，用于将其知识蒸馏到本地模型中。
• 通过重建损失应用知识蒸馏，使本地用户特征与全局物品模式对齐，从而提升本地模型的准确性。
• 该方法利用 NMF 的低秩近似，天然限制信息泄露，从而增强隐私保护。

实验结果

研究问题

• RQ1 能否设计一种基于协同过滤的一次性联邦推荐系统，在最小化通信量的同时保护隐私？
• RQ2 联合 NMF 搭配知识蒸馏在不共享原始用户数据的前提下，对提升本地模型性能有多有效？
• RQ3 FedSPLIT 在推荐准确率与通信效率方面，相较于现有多轮联邦推荐方法，优势有多大？
• RQ4 FedSPLIT 对试图从共享的潜在因子中重构用户评分的推理攻击具有多大抗性？
• RQ5 FedSPLIT 是否可扩展以支持单用户客户端，或可通过差分隐私进一步加固？

主要发现

• 尽管仅使用一轮通信，FedSPLIT 的推荐性能仍可与或优于最先进多轮联邦推荐方法相媲美。
• 该方法显著降低了通信成本，因为仅需在初始全局均值计算后进行一次客户端-服务器通信对。
• 尝试从共享的物品因子与偏置中重构用户评分的推理攻击表现出较高的相对误差，表明由于低秩近似而具备强隐私保护能力。
• 重构误差随攻击者访问数据比例的增加而近乎线性上升，但即使在完全访问的情况下，精确重构仍不可行。
• 通过缺失值补全的非负矩阵分解，可在无需显式共享用户数据的前提下实现有效的协同过滤。
• 该方法对客户端异构性具有鲁棒性，并支持基于群体的联邦学习，但单用户参与仍是开放挑战。