[论文解读] A Hierarchical Contextual Attention-based GRU Network for Sequential Recommendation

Qiang Cui, Shu Wu+2 more|arXiv (Cornell University)|Nov 14, 2017

Recommender Systems and Techniques参考文献 29被引用 11

一句话总结

该论文提出HCA-GRU，一种基于分层上下文注意力的GRU网络，通过在输入和隐藏状态上应用双层注意力机制，增强对长期用户偏好和短期兴趣的建模，从而提升序列推荐性能。该方法在两个真实世界数据集上优于标准RNN和SOTA基线模型，在MAP和NDCG等排名指标上达到最先进性能。

ABSTRACT

Sequential recommendation is one of fundamental tasks for Web applications. Previous methods are mostly based on Markov chains with a strong Markov assumption. Recently, recurrent neural networks (RNNs) are getting more and more popular and has demonstrated its effectiveness in many tasks. The last hidden state is usually applied as the sequence's representation to make recommendation. Benefit from the natural characteristics of RNN, the hidden state is a combination of long-term dependency and short-term interest to some degrees. However, the monotonic temporal dependency of RNN impairs the user's short-term interest. Consequently, the hidden state is not sufficient to reflect the user's final interest. In this work, to deal with this problem, we propose a Hierarchical Contextual Attention-based GRU (HCA-GRU) network. The first level of HCA-GRU is conducted on the input. We construct a contextual input by using several recent inputs based on the attention mechanism. This can model the complicated correlations among recent items and strengthen the hidden state. The second level is executed on the hidden state. We fuse the current hidden state and a contextual hidden state built by the attention mechanism, which leads to a more suitable user's overall interest. Experiments on two real-world datasets show that HCA-GRU can effectively generate the personalized ranking list and achieve significant improvement.

研究动机与目标

• 为解决RNN因单调时间依赖性假设而难以建模用户短期兴趣的局限性。
• 通过捕捉最近项目之间复杂的局部相关性，提升序列推荐性能。
• 有效融合长期依赖与短期兴趣，以获得更优的用户表征。
• 设计一种分层注意力机制，为最近项目和隐藏状态分配非单调、与时间无关的权重。
• 通过贝叶斯个性化排序（BPR）和通过时间反向传播（BPTT）实现个性化排序的优越性能。

提出的方法

• 提出两级分层架构：第一级对输入序列应用注意力机制，从最近项目构建上下文输入。
• 应用注意力机制为最近输入分配动态、非单调权重，以更好地建模局部项目相关性。
• 通过另一注意力机制从最近隐藏状态构建上下文隐藏状态，以捕捉短期兴趣模式。
• 将当前隐藏状态与上下文隐藏状态融合，形成结合长期与短期兴趣的更丰富用户表征。
• 采用基于窗口的方法，对输入和隐藏状态的上下文建模使用可学习的窗口宽度。
• 使用BPR损失和BPTT训练模型，以优化序列推荐任务的排序性能。

实验结果

研究问题

• RQ1 分层注意力机制能否提升序列推荐中对用户短期兴趣的建模？
• RQ2 将输入级和隐藏状态级注意力解耦，是否能超越标准RNN，实现更优的表征学习？
• RQ3 用于上下文输入和隐藏状态的窗口大小如何影响不同序列推荐数据集上的性能？
• RQ4 与RNN的固定时间衰减相比，非单调注意力权重是否能更好地捕捉用户近期行为中的关键项目？
• RQ5 所提出的HCA-GRU是否在MAP和NDCG等排名指标上达到最先进性能？

主要发现

• HCA-GRU在Taobao和Outbrain数据集上显著提升了MAP和NDCG，优于标准GRU和SOTA基线模型。
• 在Taobao上，输入上下文化的最优窗口宽度为w_x = 3；在Outbrain上为w_x = 2，表明对序列长度存在数据集特异性敏感性。
• 在Taobao上，隐藏状态上下文化的最优窗口宽度为w_h = 5；在Outbrain上为w_h = 3，性能在这些值处达到峰值。
• 输入注意力权重呈现非单调、上下文敏感的重要性，关键项目无论时间远近均获得高权重。
• 在Outbrain上，隐藏状态注意力权重呈现单调递减模式；而在Taobao上则分布更均匀，表明行为动态存在差异。
• 在Taobao上采用w_x = 5, w_h = 5，在Outbrain上采用w_x = 2, w_h = 3时整体性能最佳，证实了分层设计的有效性。