[论文解读] D\'ej\`a vu: A Contextualized Temporal Attention Mechanism for Sequential Recommendation

Jibang Wu, Renqin Cai+1 more|arXiv (Cornell University)|Jan 29, 2020

Recommender Systems and Techniques参考文献 46被引用 9

一句话总结

本文提出 CTA（上下文感知时间注意力机制），通过基于时间接近度、上下文相关性和内容相似性的动态加权历史行为，增强序列推荐。通过整合多个可学习的时间核函数与上下文感知路由机制，CTA 在两个大规模数据集上优于最先进模型，展现出在建模用户偏好演化方面更高的准确性和可解释性。

ABSTRACT

Predicting users' preferences based on their sequential behaviors in history is challenging and crucial for modern recommender systems. Most existing sequential recommendation algorithms focus on transitional structure among the sequential actions, but largely ignore the temporal and context information, when modeling the influence of a historical event to current prediction. In this paper, we argue that the influence from the past events on a user's current action should vary over the course of time and under different context. Thus, we propose a Contextualized Temporal Attention Mechanism that learns to weigh historical actions' influence on not only what action it is, but also when and how the action took place. More specifically, to dynamically calibrate the relative input dependence from the self-attention mechanism, we deploy multiple parameterized kernel functions to learn various temporal dynamics, and then use the context information to determine which of these reweighing kernels to follow for each input. In empirical evaluations on two large public recommendation datasets, our model consistently outperformed an extensive set of state-of-the-art sequential recommendation methods.

研究动机与目标

• 解决现有序列推荐模型忽略历史事件随时间与上下文动态影响的局限性。
• 建模过去行为对当前预测的相关性如何不仅随时间变化，也因用户参与上下文（如探索 vs. 利用）而异。
• 通过联合学习历史交互的内容、时间与上下文重要性得分，提升推荐准确性。
• 通过三阶段注意力加权机制增强模型可解释性，分离内容、时间与上下文影响。

提出的方法

• 模型采用三阶段注意力机制：基于内容的重要性（α）、基于时间核的重加权（β）与上下文感知融合（γ），以计算最终注意力得分。
• 使用多个参数化核函数建模多样的时间动态，可学习的路由门根据上下文为每个输入选择最相关的时间核。
• 时间核组件学习非线性时间衰减模式，灵活建模历史事件对短期与长期的影响。
• 上下文信息用于门控时间核的选择，实现对用户行为模式（如探索 vs. 利用）的动态适应。
• 最终注意力得分 γ 融合内容、时间与上下文信号，使模型能够优先选择既相关又及时的行为。
• 该架构继承了自注意力机制的并行化优势，在提升建模保真度的同时保持计算效率。

实验结果

研究问题

• RQ1 历史用户行为对当前推荐的影响如何随时间变化，并在不同行为上下文中表现不同？
• RQ2 可学习的、上下文感知的时间核机制是否能超越固定或静态注意力机制，在序列推荐中实现性能提升？
• RQ3 将内容、时间与上下文重要性分离在多大程度上能提升模型性能与可解释性？
• RQ4 不同时间核设计如何影响模型在真实世界数据集中多样化序列模式下的泛化能力？

主要发现

• 所提出的 CTA 模型在两个大规模公开数据集上持续优于多种最先进序列推荐方法，展现出更高的推荐准确性。
• 实证结果表明，上下文信息在决定注意力权重方面起主导作用，尤其在时间衰减单独不足以判断远期历史事件相关性时。
• 由于基于自注意力的架构设计，模型保持了高计算效率，即使在引入上下文感知时间建模的复杂性下，仍支持并行推理。
• 消融研究证实，自注意力组件对性能有显著贡献，但上下文感知时间机制提供了关键的增量增益。
• 注意力得分的可视化显示，只要上下文支持其相关性，模型即使在时间上较远的历史行为也能正确识别其相关性。
• 三阶段注意力机制增强了可解释性，使研究人员能够基于内容、时间与上下文追溯特定项目被推荐的原因。