[论文解读] Intelligent Model Update Strategy for Sequential Recommendation

Zheqi Lv, Wenqiao Zhang+3 more|arXiv (Cornell University)|Feb 14, 2023

Recommender Systems and Techniques参考文献 47被引用 7

一句话总结

论文提出一个建立在 DC-CDR 框架之上的智能设备-云端参数请求模型（IDEAL），引入误荐检测器（MRD）和分布映射器（DM），在设备-云端序列推荐中权衡更新频率与通信预算。

ABSTRACT

Modern online platforms are increasingly employing recommendation systems to address information overload and improve user engagement. There is an evolving paradigm in this research field that recommendation network learning occurs both on the cloud and on edges with knowledge transfer in between (i.e., edge-cloud collaboration). Recent works push this field further by enabling edge-specific context-aware adaptivity, where model parameters are updated in real-time based on incoming on-edge data. However, we argue that frequent data exchanges between the cloud and edges often lead to inefficiency and waste of communication/computation resources, as considerable parameter updates might be redundant. To investigate this problem, we introduce Intelligent Edge-Cloud Parameter Request Model, abbreviated as IntellectReq. IntellectReq is designed to operate on edge, evaluating the cost-benefit landscape of parameter requests with minimal computation and communication overhead. We formulate this as a novel learning task, aimed at the detection of out-of-distribution data, thereby fine-tuning adaptive communication strategies. Further, we employ statistical mapping techniques to convert real-time user behavior into a normal distribution, thereby employing multi-sample outputs to quantify the model's uncertainty and thus its generalization capabilities. Rigorous empirical validation on four widely-adopted benchmarks evaluates our approach, evidencing a marked improvement in the efficiency and generalizability of edge-cloud collaborative and dynamic recommendation systems.

研究动机与目标

• 通过动态、云端协助的参数更新，提高设备端推荐模型的泛化能力。
• 开发一个设备-云端协作框架（DC-CDR），将骨干网络与分类器解耦，以针对实时数据定制动态层。
• 引入 MRD，决定何时需要云端协助的参数更新，从而减少不必要的通信。
• 提出分布映射器以量化数据语义理解中的不确定性并指导更新。

提出的方法

• 定义一个 DC-CDR 最优化，其中骨干网络在训练后固定，分类器由云端模型基于实时数据生成。
• 将模型拆分为静态骨干和动态层，以提升设备端的个性化和泛化能力。
• 使用云端生成器模型根据实时序列为设备端推理提供动态层参数。
• 将云端生成器与静态层联合训练，使用全局历史数据进行训练，而非对静态与云端组件进行逐步优化。
• 引入 MRD，通过从历史数据构建 MRD 数据集并采用两阶段训练过程（分类损失与 KL 散度损失）来确定是否需要更新。
• 使用分布映射器评估模型对数据语义理解的不确定性，并据此指导参数更新。

实验结果

研究问题

• RQ1 如何在预算约束下结构化设备-云端协作以最大化推荐表现？
• RQ2 误荐检测器能否准确决定何时请求云端提供的参数用于设备端模型？
• RQ3 分布映射器如何量化不确定性以改进序列推荐中的参数更新策略？
• RQ4 将骨干与分类器解耦为静态与动态层对设备端泛化的益处为何？
• RQ5 什么样的训练程序能够实现云端生成的动态参数与设备端静态层的联合优化？

主要发现

• DC-CDR 通过云端生成参数引导的设备端动态层，提升潜在泛化能力。
• 提出 MRD 与 DM，在预算约束下降低不必要的通信同时维持推荐质量。
• 该框架将静态骨干与动态分类器解耦，以支持个性化而又具全球信息的推荐。
• MRD 使用历史数据构建 MRD 数据集，并实现带 KL 散度损失的两阶段训练。
• DM 评估语义理解中的不确定性，以指导何时应进行参数更新。
• 所提出的方法旨在在不同的设备-云端预算下实现较高的通信收益。