[论文解读] Learning Federated Representations and Recommendations with Limited Negatives

Lin Ning, Karan Singhal+2 more|arXiv (Cornell University)|Aug 18, 2021

Privacy-Preserving Technologies in Data参考文献 21被引用 4

一句话总结

本论文提出了一种批次无关损失函数——具体为带有分散正则化的合页损失和全局软max损失——以解决联邦深度检索模型因客户端非独立同分布（non-IID）数据和有限负样本而导致的性能下降问题。该方法将联邦学习与集中式训练之间的召回率差距从27.22%降低至0.53%，相对召回率提升最高达93.15%。

ABSTRACT

Deep retrieval models are widely used for learning entity representations and recommendations. Federated learning provides a privacy-preserving way to train these models without requiring centralization of user data. However, federated deep retrieval models usually perform much worse than their centralized counterparts due to non-IID (independent and identically distributed) training data on clients, an intrinsic property of federated learning that limits negatives available for training. We demonstrate that this issue is distinct from the commonly studied client drift problem. This work proposes batch-insensitive losses as a way to alleviate the non-IID negatives issue for federated movie recommendations. We explore a variety of techniques and identify that batch-insensitive losses can effectively improve the performance of federated deep retrieval models, increasing the relative recall of the federated model by up to 93.15% and reducing the relative gap in recall between it and a centralized model from 27.22% - 43.14% to 0.53% - 2.42%. We also open-source our code framework to accelerate further research and applications of federated deep retrieval models.

研究动机与目标

• 解决因客户端数据非独立同分布及负样本稀缺导致的联邦深度检索模型性能严重下降问题。
• 区分负样本采样问题与联邦学习中已知的客户端漂移（client drift）问题。
• 设计对联邦设置中数据分布偏移具有鲁棒性的损失函数，以改善表示学习与推荐质量。
• 证明批次无关损失函数能显著缩小联邦训练与集中式训练之间的性能差距。
• 发布开源框架，以加速联邦深度检索模型的研究与实际部署。

提出的方法

• 提出不依赖批次内负样本的批次无关损失函数，降低对客户端数据分布的敏感性。
• 将合页损失与分散正则化器结合，推动无关样本-上下文对嵌入向量之间的距离，即使负样本有限也能实现。
• 采用使用完整项目词汇表作为负样本的全局软max损失，消除对小批量负样本的依赖。
• 使用双编码器架构，分别对用户上下文和项目使用独立编码器，并通过对比学习进行训练。
• 采用联邦平均算法进行训练，包含多个本地训练步骤，同时在集中式与联邦测试集上评估性能。
• 基于TensorFlow Federated实现灵活的代码框架，以支持可复现性及向新任务的可扩展性。

实验结果

研究问题

• RQ1 在非独立同分布数据且负样本有限的情况下，联邦深度检索模型的性能相较于集中式训练下降程度如何？
• RQ2 性能下降主要由负样本的数据分布偏移引起，还是由客户端漂移或其他因素驱动？
• RQ3 在非独立同分布数据下，批次无关损失函数能否缓解联邦深度检索模型的性能下降？
• RQ4 不同损失函数（批次敏感 vs. 批次无关）对联邦与集中式模型之间召回率差距的影响如何？
• RQ5 批次无关损失函数能否与现有客户端漂移缓解技术有效结合，进一步提升性能？

主要发现

• 使用全局软max损失时，联邦与集中式模型之间的召回率差距从基线的27.22%降至0.53%。
• 带有分散正则化的合页损失（H+S）将召回率差距降至2.42%，相比基线相对召回率最高提升93.15%。
• H+S与GS等批次无关损失函数在所有召回率指标（R@1、R@5、R@10）上显著优于批次敏感基线（BS与BS+S）。
• 全局软max损失在集中式与联邦模型之间实现了最小的性能差距，而H+S在绝对召回率上表现略优。
• 采用H+S的改进集中式模型在R@10达到11.15，而联邦模型达到10.43，表明在联邦训练下仍具备强大的泛化能力。
• 开源框架支持在MovieLens数据集上对联邦深度检索模型进行可复现的训练与评估，用于下一部电影预测任务。