[论文解读] Long Short-Term Preference Modeling for Continuous-Time Sequential Recommendation

Huixuan Chi, Hao Xu+6 more|arXiv (Cornell University)|Aug 1, 2022

Recommender Systems and Techniques被引用 4

一句话总结

该论文提出LSTSR，一种新颖的基于动态图的连续时间序列推荐方法，通过引入具有消息传递、聚合与更新操作的记忆机制，显式建模用户短期偏好的演化过程。该方法在五个数据集上均优于当前最先进方法，性能显著提升——尤其在Recall@10指标上，启用记忆机制后从0.7232提升至0.8635。

ABSTRACT

Modeling the evolution of user preference is essential in recommender systems. Recently, dynamic graph-based methods have been studied and achieved SOTA for recommendation, majority of which focus on user's stable long-term preference. However, in real-world scenario, user's short-term preference evolves over time dynamically. Although there exists sequential methods that attempt to capture it, how to model the evolution of short-term preference with dynamic graph-based methods has not been well-addressed yet. In particular: 1) existing methods do not explicitly encode and capture the evolution of short-term preference as sequential methods do; 2) simply using last few interactions is not enough for modeling the changing trend. In this paper, we propose Long Short-Term Preference Modeling for Continuous-Time Sequential Recommendation (LSTSR) to capture the evolution of short-term preference under dynamic graph. Specifically, we explicitly encode short-term preference and optimize it via memory mechanism, which has three key operations: Message, Aggregate and Update. Our memory mechanism can not only store one-hop information, but also trigger with new interactions online. Extensive experiments conducted on five public datasets show that LSTSR consistently outperforms many state-of-the-art recommendation methods across various lines.

研究动机与目标

• 填补基于动态图的推荐系统中对动态短期偏好演化建模的空白。
• 克服现有动态图方法主要关注稳定长期偏好的局限性。
• 通过捕捉近期交互之外的时间趋势，显式编码并优化短期偏好演化，采用记忆机制实现。
• 在统一的动态图框架中有效整合长期与短期偏好建模。
• 通过可触发的记忆机制实现短期嵌入的在线自适应，支持流式推理。

提出的方法

• 从用户交互历史构建连续时间动态图（CTDG），以时间戳表示用户-物品关系的演化。
• 引入长短期嵌入层，将用户与物品嵌入表示为连续时间形式，并结合记忆机制。
• 设计包含三种操作的记忆机制：消息（使用时间感知嵌入生成上下文感知消息）、聚合（聚合邻居消息以形成偏好表示）、更新（使用RNN如GRU/LSTM在时间上更新短期嵌入）。
• 应用动态协同注意力变换器（Dynamic Collaborative Transformer）结合DSACF（带协同过滤的动态自注意力），捕捉动态图中的协同信号。
• 采用BPR损失进行优化，并通过亲和力评分预测下一项推荐结果。
• 利用动态邻居采样与最后时间聚合策略提升推理效率，使训练和推理速度分别较TGSRec提升近5倍和10倍。

实验结果

研究问题

• RQ1 基于动态图的方法能否有效建模快速变化且趋势驱动的用户短期偏好演化？
• RQ2 与仅依赖近期交互相比，显式使用记忆机制编码短期偏好如何提升推荐性能？
• RQ3 连续时间嵌入与动态协同信号（DSACF）对偏好动态建模有何影响？
• RQ4 记忆机制在多大程度上提升性能并支持流式推荐场景下的在线自适应？
• RQ5 建模长期与短期偏好是否需要深层结构，还是通过有效的记忆机制，浅层设计即可满足需求？

主要发现

• LSTSR完整模型在五个公开数据集的所有指标上均达到最优性能，显著优于多个最先进基线方法。
• 仅启用记忆机制，Wikipedia数据集上的Recall@10即从0.7232提升至0.8635，凸显其在建模短期偏好演化中的关键作用。
• 连续时间嵌入与DSACF对捕捉动态演化与协同信号至关重要，若移除则性能显著下降。
• 单层结构已足够使LSTSR有效捕捉长期与短期偏好，深层结构（如LSTSR-2l）仅带来微小性能增益。
• 得益于高效的内存表示与动态邻居采样，LSTSR在训练和推理阶段分别实现较TGSRec近5倍与10倍的速度提升。
• 消融实验表明，记忆机制能够存储一跳信息并响应新交互事件触发，从而实现鲁棒且高效的在线推理。