[论文解读] Next Item Recommendation with Self-Attention

Shuai Zhang, Yi Tay+2 more|arXiv (Cornell University)|Aug 20, 2018

Recommender Systems and Techniques参考文献 44被引用 51

一句话总结

AttRec 提出一种基于自注意力的序列推荐器，通过自注意力建模短期用户意图，利用度量学习建模长期偏好，在多样数据集上达到最先进的结果。

ABSTRACT

In this paper, we propose a novel sequence-aware recommendation model. Our model utilizes self-attention mechanism to infer the item-item relationship from user's historical interactions. With self-attention, it is able to estimate the relative weights of each item in user interaction trajectories to learn better representations for user's transient interests. The model is finally trained in a metric learning framework, taking both short-term and long-term intentions into consideration. Experiments on a wide range of datasets on different domains demonstrate that our approach outperforms the state-of-the-art by a wide margin.

研究动机与目标

• 为在用户历史项之间建模交互以实现更好的序列推荐的需求提供动机。
• 引入一个基于自注意力的模块，从最近的交互中捕捉短期用户意图。
• 将自注意力表示与协作度量学习组件耦合，以建模长期的用户偏好。
• 在密集和稀疏数据集上对 AttRec 进行全面评估，并分析超参数和注意力行为。

提出的方法

• 使用一个自注意力模块，其中查询（query）、键（key）和值（value）来自最近的 L 次交互项，以生成对用户意图的注意力短期表示。
• 在投影前通过向查询和键加入时间位置信息（Time embeddings）来引入时间信息。
• 通过潜在因子 U（用户）和 V（项）表示长期用户偏好和项嵌入，并用欧氏距离建模交互。
• 在一个统一的分数 y_{t+1} 中结合短期信号（m_t via self-attention）和长期信号：y_{t+1} = ω ||U_u - V_{H^u_{t+1}}||^2 + (1-ω) ||m^u_t - X^u_{t+1}||^2。
• 使用正负项对的基于边界的铰链损失进行训练，并使用 L2 正则化以及自适应梯度优化。
• 通过网格搜索设定 L（短期窗口）、T（下一个项）以及其他超参数；用 HR@50 和 MRR 在多数据集上进行评估。

实验结果

研究问题

• RQ1 AttRec 是否在多样的序列推荐数据集上达到最先进的性能？
• RQ2 自注意力组件如何影响对短期意图的建模及整体排序性能？
• RQ3 哪些关键超参数（例如 L、聚合方法、ω、d）对性能有影响？
• RQ4 AttRec 是否能在密集和稀疏数据集上表现良好并有效处理短序列？

主要发现

• AttRec 在 12 个基准数据集的 HR@50 和 MRR 指标上始终优于所有基线。
• 在消融实验中，包含自注意力的版本相较于非注意版本提升了性能，尽管在某些数据集上没有自注意力的模型也具备竞争力。
• 自注意力的注意力图是可解释的，显示对过去操作的权重随时间变化，而不仅仅偏向最近的项。
• 用于组合注意力输出的聚合方法会影响性能，通常以平均聚合作为基线。
• 该模型将短期意图（通过自注意力）与长期偏好（通过潜在因子）结合，从而实现更好的推荐。