[论文解读] MC$^2$-SF: Slow-Fast Learning for Mobile-Cloud Collaborative Recommendation

Zeyuan Chen, Jiangchao Yao+5 more|arXiv (Cornell University)|Sep 25, 2021

Recommender Systems and Techniques参考文献 34被引用 6

一句话总结

MC$^2$-SF 提出了一种面向移动-云协同推荐的慢-快学习框架，其中基于云的模型（慢）提供先验知识，基于移动的模型（快）共享实时反馈。通过双向传递特权特征和负样本记忆特征，MC$^2$-SF 提升了推荐准确率，在 ML-1M 数据集上相较于最佳基线实现了 5.70% 的 NDCG@5 提升。

ABSTRACT

With the hardware development of mobile devices, it is possible to build the recommendation models on the mobile side to utilize the fine-grained features and the real-time feedbacks. Compared to the straightforward mobile-based modeling appended to the cloud-based modeling, we propose a Slow-Fast learning mechanism to make the Mobile-Cloud Collaborative recommendation (MC$^2$-SF) mutual benefit. Specially, in our MC$^2$-SF, the cloud-based model and the mobile-based model are respectively treated as the slow component and the fast component, according to their interaction frequency in real-world scenarios. During training and serving, they will communicate the prior/privileged knowledge to each other to help better capture the user interests about the candidates, resembling the role of System I and System II in the human cognition. We conduct the extensive experiments on three benchmark datasets and demonstrate the proposed MC$^2$-SF outperforms several state-of-the-art methods.

研究动机与目标

• 解决尽管硬件技术进步，移动与云推荐模型之间仍缺乏双向协作的问题。
• 克服独立或单向模型的局限性，这些模型未能充分利用移动与云组件的互补优势。
• 构建一种框架，实现慢（云）与快（移动）组件之间的相互知识迁移，以提升用户兴趣建模能力。
• 通过整合长期与实时用户行为，模仿人类认知系统（系统 I 与系统 II），以提升推荐性能。
• 验证双向知识蒸馏与负样本记忆融合在协同推荐中的有效性。

提出的方法

• 基于交互频率与计算能力，将基于云的模型视为慢组件，将基于移动的模型视为快组件。
• 将慢组件中的通用兴趣表征传递给快组件，以提升短期预测准确率。
• 通过负样本记忆模块收集并上传快组件的负面反馈至慢组件，以优化长期用户表征。
• 实施双分支训练与推理管道，使两个组件通过特权知识与先验知识的交互持续改进。
• 在两个组件中均使用注意力机制与基于嵌入的表征来建模用户-物品交互，并采用共享损失函数以实现对齐。
• 引入正则化系数以平衡模型容量，防止联合训练过程中的过拟合。

实验结果

研究问题

• RQ1 移动与云推荐模型之间的双向知识迁移是否能提升整体推荐性能？
• RQ2 从移动端引入实时反馈如何增强云端的长期用户建模能力？
• RQ3 快组件的负样本记忆对慢组件预测的准确率与鲁棒性有何影响？
• RQ4 与单向或独立建模相比，慢-快学习机制在 NDCG 与 AUC 指标上的表现如何？
• RQ5 哪些超参数（如嵌入维度、正则化系数）对 MC$^2$-SF 框架的性能影响最大？

主要发现

• MC$^2$-SF 在 ML-1M 数据集上相较于最佳基线实现了 5.70% 的 NDCG@5 提升，分别在 Alipay 和 Steam 数据集上实现了 1.60% 与 2.30% 的提升。
• 消融实验表明，"w/ F2S"（上传负样本记忆）与 "w/ S2F"（传递特权特征）均显著提升性能，验证了双向知识流的重要性。
• 负样本记忆模块通过融合正负反馈，增强了用户表征学习，生成更具信息量的嵌入表征。
• 最优性能在嵌入维度为 32、正则化系数为 1e-4 时达到，表明模型容量与泛化能力之间达到良好平衡。
• 案例研究显示，MC$^2$-SF 有效融合了来自云的长期兴趣与来自移动端的短期行为，从而生成更具多样性与相关性的推荐结果。
• 该框架在三个基准数据集上均优于 DIN 与 SASRec 等强基线模型，证明其在真实推荐场景中的一致优越性。