[论文解读] Dynamic Intention-Aware Recommendation with Self-Attention

Shuai Zhang, Yi Tay+2 more|arXiv (Cornell University)|Aug 20, 2018

Recommender Systems and Techniques被引用 5

一句话总结

本文提出了一种动态意图感知推荐模型，通过在用户行为序列上使用自注意力机制联合建模短期用户兴趣，同时通过度量学习框架建模长期偏好。通过整合两种意图类型并克服点积注意力的局限性，该模型在多种数据集上实现了最先进性能。

ABSTRACT

Predicting the missing values given the observed interaction matrix is a predominant task in the recommendation research field, which is well-suited to the case when long-term user preference is considered. However, ignoring timestamp information makes it impossible to detect interest drifts of individual users over time, while in many practical applications, both long and short-term intents are critical to the success of recommendation algorithms. In this paper, we aim to tackle the sequential recommendation problem by modeling these two types of intents in an integrated manner. Our model is structured into two components, one for short-term intents learning and the other one for long-term preference modeling. We propose capturing user's short-term interest with a self-attention mechanism which attends over the past behaviors in a supervised learning approach. The model is finally learned in a metric learning framework, which could overcome the weakness of dot product. Experiments on a wide range of datasets on different domains demonstrate that our approach outperforms the state-of-the-art by a wide margin.

研究动机与目标

• 解决现有推荐模型忽略时间戳信息且无法检测随时间变化的用户兴趣漂移的局限性。
• 将近期行为产生的短期用户意图与长期用户偏好整合到统一的推荐框架中。
• 通过使用有监督方式训练的自注意力机制建模用户意图的动态变化，从而改进序列推荐。
• 通过基于度量学习的训练目标，克服点积注意力在捕捉用户行为依赖关系方面的固有弱点。

提出的方法

• 使用自注意力机制建模短期用户意图，该机制对过去用户交互序列进行注意力计算，以捕捉动态兴趣变化。
• 通过独立组件学习用户长期偏好，该组件从历史行为中编码稳定且持久的用户偏好。
• 在度量学习框架中训练模型，以改善表征学习并缓解标准点积注意力的局限性。
• 将短期和长期建模组件的输出结果进行融合，生成最终推荐结果。
• 为自注意力模块采用有监督学习设置，以使注意力权重更好地与实际用户行为序列对齐。
• 使用对比损失目标端到端优化整个模型，以提升嵌入质量与推荐准确性。

实验结果

研究问题

• RQ1 统一模型能否有效捕捉序列推荐中的短期与长期用户意图？
• RQ2 与忽略时间动态性的模型相比，引入时间戳感知的自注意力机制在推荐性能上有多大提升？
• RQ3 基于度量学习框架在注意力建模方面相较于标准点积注意力，能多大程度上实现性能增强？
• RQ4 所提出方法在具有不同交互模式的多样化领域和数据集上是否具备良好的泛化能力？

主要发现

• 所提出的模型在来自不同领域的多种数据集上均实现了最先进性能。
• 通过自注意力机制实现的短期意图建模显著提升了推荐准确性，优于仅考虑长期偏好的模型。
• 度量学习框架有效缓解了点积注意力的局限性，实现了更鲁棒的用户表征学习。
• 该模型展现出强大的泛化能力，在所有评估数据集上均优于现有最先进方法。