[论文解读] Hybrid Sequential Recommender via Time-aware Attentive Memory Network.

Wendi Ji, Keqiang Wang+3 more|arXiv (Cornell University)|May 18, 2020

Recommender Systems and Techniques参考文献 36被引用 4

一句话总结

该论文提出了一种多跳时间感知注意力记忆网络（MTAM），通过将时间门控机制集成到GRU单元中，并支持多跳记忆读取，以统一建模长期用户偏好与短期意图，从而增强序列推荐系统。该方法通过时间感知注意力机制和非线性用户表征学习，对用户行为的演化过程进行建模，在六个基准数据集上显著提升了推荐准确率。

ABSTRACT

Recommendation systems aim to assist users to discover most preferred contents from an ever-growing corpus of items. Although recommenders have been greatly improved by deep learning, they still faces several challenges: (1) Behaviors are much more complex than words in sentences, so traditional attentive and recurrent models may fail in capturing the temporal dynamics of user preferences. (2) The preferences of users are multiple and evolving, so it is difficult to integrate long-term memory and short-term intent. In this paper, we propose a temporal gating methodology to improve attention mechanism and recurrent units, so that temporal information can be considered in both information filtering and state transition. Additionally, we propose a Multi-hop Time-aware Attentive Memory network (MTAM) to integrate long-term and short-term preferences. We use the proposed time-aware GRU network to learn the short-term intent and maintain prior records in user memory. We treat the short-term intent as a query and design a multi-hop memory reading operation via the proposed time-aware attention to generate user representation based on the current intent and long-term memory. Our approach is scalable for candidate retrieval tasks and can be viewed as a non-linear generalization of latent factorization for dot-product based Top-K recommendation. Finally, we conduct extensive experiments on six benchmark datasets and the experimental results demonstrate the effectiveness of our MTAM and temporal gating methodology.

研究动机与目标

• 解决序列推荐系统中复杂且动态演化的用户偏好建模挑战。
• 克服传统注意力机制与RNN模型在捕捉用户行为时间动态性方面的局限性。
• 通过时间感知注意力机制，有效整合长期记忆与短期意图。
• 开发一种可扩展的非线性潜在因子分解泛化方法，实现高效的Top-K候选检索。
• 通过将用户偏好建模为受时间上下文影响的演化状态，提升推荐性能。

提出的方法

• 提出一种时间门控机制，将时间感知信息融入注意力计算与基于GRU的状态转移中。
• 设计一种时间感知注意力机制，将短期意图作为查询，从长期记忆中检索相关信息。
• 实现多跳记忆读取操作，基于当前意图与先前记忆迭代优化用户表征。
• 使用时间感知GRU网络学习短期用户意图，同时在记忆中保留历史用户行为。
• 通过在记忆槽上迭代注意力机制，结合当前意图与长期记忆构建用户表征。
• 将最终推荐任务建模为基于点积的潜在因子分解的非线性泛化形式，以实现高效的候选检索。

实验结果

研究问题

• RQ1 在注意力机制与RNN单元中引入时间门控，是否能更有效地建模序列推荐中用户行为的演化动态？
• RQ2 多跳记忆读取机制在多大程度上能有效整合短期意图与长期用户偏好？
• RQ3 与标准注意力机制相比，所提出的时序感知注意力机制在表征学习方面提升了多少？
• RQ4 MTAM框架是否在多样化的基准数据集上优于现有的序列推荐模型？
• RQ5 该方法在大规模推荐系统中是否能实现高效的实时Top-K候选检索？

主要发现

• 所提出的时序门控机制显著优于标准注意力机制与RNN单元，在用户行为时间动态建模方面表现更优。
• MTAM模型在六个基准数据集的序列推荐任务中达到了最先进性能。
• 多跳记忆读取机制通过迭代优化上下文感知嵌入，实现了更精确的用户表征学习。
• 该方法在Top-K候选检索中表现出良好的可扩展性，可视为潜在因子分解的非线性泛化形式。
• 实证结果表明，推荐准确率持续提升，尤其在捕捉随时间演化的用户偏好方面表现突出。