[论文解读] A Review-Driven Neural Model for Sequential Recommendation

Chenliang Li, Xichuan Niu+3 more|arXiv (Cornell University)|Jul 1, 2019

Recommender Systems and Techniques参考文献 7被引用 7

一句话总结

该论文提出RNS，一种基于评论的神经序列推荐模型，通过融合方面感知的评论嵌入来获取用户和商品表征，并采用注意力机制的分层注意力机制，以捕捉整体层级和个体层级的序列模式。RNS通过利用用户评论中的丰富语义信号来提升序列推荐的准确性，在三个真实世界数据集上显著优于当前最先进模型。

ABSTRACT

Writing review for a purchased item is a unique channel to express a user's opinion in E-Commerce. Recently, many deep learning based solutions have been proposed by exploiting user reviews for rating prediction. In contrast, there has been few attempt to enlist the semantic signals covered by user reviews for the task of collaborative filtering. In this paper, we propose a novel review-driven neural sequential recommendation model (named RNS) by considering users' intrinsic preference (long-term) and sequential patterns (short-term). In detail, RNS is devised to encode each user or item with the aspect-aware representations extracted from the reviews. Given a sequence of historical purchased items for a user, we devise a novel hierarchical attention over attention mechanism to capture sequential patterns at both union-level and individual-level. Extensive experiments on three real-world datasets of different domains demonstrate that RNS obtains significant performance improvement over uptodate state-of-the-art sequential recommendation models.

研究动机与目标

• 解决现有序列推荐模型中用户评论语义信息整合不足的问题。
• 利用基于评论的表征，同时建模用户的长期偏好和短期序列模式。
• 通过捕捉用户偏好在整体层级和个体层级的多粒度动态变化，提升推荐性能。
• 验证方面感知特征提取和分层注意力机制在序列推荐中的有效性。

提出的方法

• 使用方面感知的卷积神经网络（CNN）从评论文本中提取用户和商品表征，聚焦于特定方面。
• 设计了一种分层注意力机制的注意力机制，以在两个层级上建模序列偏好：整体层级（分组的商品序列）和个体层级（单个商品的转移）。
• 用户特定的长期偏好源自方面感知的评论嵌入，而短期偏好则通过序列转移的注意力加权聚合来捕捉。
• 最终的用户表征通过一个可学习的加权融合方式，结合长期和短期偏好，其权重由超参数α控制。
• 引入位置嵌入以保留购买序列中的时间顺序信息。
• 采用端到端的排名损失进行模型训练，以优化下一项商品的预测性能。

实验结果

研究问题

• RQ1 将用户评论中的语义信号整合进来，能否提升序列推荐的性能？
• RQ2 整体层级和个体层级的序列模式在用户偏好建模中分别起到何种不同作用？
• RQ3 方面感知特征提取与分层注意力机制在序列推荐中的相对重要性如何？
• RQ4 超参数如序列长度（L）和注意力加权（α）如何影响模型性能？

主要发现

• RNS在三个真实世界数据集（Instant Video、Pet Supplies、Tools and Home Improvement）上，显著优于当前最先进序列推荐模型。
• 分层注意力机制的表现优于仅使用整体层级或仅使用个体层级注意力的模型，证实其在建模多粒度序列模式方面的有效性。
• 若不使用位置嵌入，性能出现显著下降，表明购买顺序是序列推荐中至关重要的信号。
• 方面感知的特征提取可提升模型性能，表明来自评论的方面特定语义比原始文本嵌入更具判别性。
• 最优超参数设置为L=5和α=0.1，其中L控制序列长度，α用于平衡长期与短期偏好。
• 案例研究证实，分层注意力机制能有效捕捉动态用户偏好，部分用户更依赖近期商品，而另一些用户则更依赖整体商品组。