[论文解读] Continuous-Time Sequential Recommendation with Temporal Graph Collaborative Transformer

Ziwei Fan, Zhiwei Liu+4 more|arXiv (Cornell University)|Aug 14, 2021

Recommender Systems and Techniques参考文献 61被引用 7

一句话总结

该论文提出TGSRec，一种连续时间序列推荐框架，通过新型时间协同Transformer（TCT）层，统一建模序列模式与时间协同信号。TCT层利用时间感知自注意力机制，联合建模物品转移与用户-物品交互动态，在五个真实世界数据集上，Recall@10与MRR分别实现最高达22.5%和22.1%的绝对提升。

ABSTRACT

In order to model the evolution of user preference, we should learn user/item embeddings based on time-ordered item purchasing sequences, which is defined as Sequential Recommendation (SR) problem. Existing methods leverage sequential patterns to model item transitions. However, most of them ignore crucial temporal collaborative signals, which are latent in evolving user-item interactions and coexist with sequential patterns. Therefore, we propose to unify sequential patterns and temporal collaborative signals to improve the quality of recommendation, which is rather challenging. Firstly, it is hard to simultaneously encode sequential patterns and collaborative signals. Secondly, it is non-trivial to express the temporal effects of collaborative signals. Hence, we design a new framework Temporal Graph Sequential Recommender (TGSRec) upon our defined continuous-time bi-partite graph. We propose a novel Temporal Collaborative Trans-former (TCT) layer in TGSRec, which advances the self-attention mechanism by adopting a novel collaborative attention. TCT layer can simultaneously capture collaborative signals from both users and items, as well as considering temporal dynamics inside sequential patterns. We propagate the information learned fromTCTlayerover the temporal graph to unify sequential patterns and temporal collaborative signals. Empirical results on five datasets show that TGSRec significantly outperforms other baselines, in average up to 22.5% and 22.1%absolute improvements in Recall@10and MRR, respectively.

研究动机与目标

• 解决现有序列推荐模型忽略随时间演化的用户-物品交互中隐含的时间协同信号的局限性。
• 克服在统一框架中联合编码序列模式与协同信号的挑战。
• 在连续时间中建模协同信号对用户与物品的动态时间影响。
• 通过整合随时间演化的物品转移模式与用户-物品相似性动态，提升推荐准确性。
• 开发一种可扩展、可微分的框架，支持用户偏好与物品交互的连续时间建模。

提出的方法

• 定义一个连续时间二部图（CTBG），在边上传递连续时间戳以表示用户-物品交互。
• 引入时间核函数，将连续时间戳映射为时间向量，用于边表示。
• 提出时间协同Transformer（TCT）层，通过节点嵌入与时间向量联合计算邻居间的注意力。
• 通过协同注意力机制，使TCT层能够同时聚合来自序列转移与协同信号的信息。
• 通过时间图传播嵌入，统一序列与协同信号，同时保持时间动态特性。
• 使用BPR损失进行模型优化，其在排序目标上比BCE损失更契合序列推荐任务。

实验结果

研究问题

• RQ1 统一框架能否有效建模连续时间序列推荐中的序列模式与时间协同信号？
• RQ2 与仅依赖序列模式的模型相比，集成时间协同信号在推荐性能上提升程度如何？
• RQ3 时间感知注意力机制在用户偏好动态建模中的增强作用有多大？
• RQ4 所提出的组件（尤其是TCT层与时间图传播）对性能提升的贡献程度如何？
• RQ5 与离散时间或无时间戳的方法相比，连续时间建模对推荐质量的影响如何？

主要发现

• 在五个真实世界数据集上，TGSRec相比强基线模型，Recall@10最高提升22.5%，MRR最高提升22.1%。
• 消融实验表明，从用户或物品嵌入中移除时间向量会显著降低性能，验证了时间推理的重要性。
• 时间注意力权重的可视化显示动态且依赖时间的注意力模式，证实了模型捕捉连续时间动态的能力。
• 仅TGSRec在正确时间窗口内将真实物品（Killing Joke）推荐至前4名，而SASRec与TiSASRec未能实现。
• 模型优于BPR优化的基线模型，表明所提出的损失函数与架构共同提升了排序性能。
• 性能对用户时间向量最为敏感，表明用户偏好演化比物品动态更具动态性，与模型设计一致。