[论文解读] Multi-behavioral Sequential Prediction with Recurrent Log-bilinear Model

Qiang Liu, Shu Wu+1 more|arXiv (Cornell University)|Aug 25, 2016

Recommender Systems and Techniques参考文献 38被引用 3

一句话总结

本文提出了循环对数线性（RLBL）模型及其时间感知扩展模型TA-RLBL，用于多行为序列预测。该模型在循环架构中利用行为特定和位置或时间特定的转移矩阵，以建模用户的短期和长期行为上下文。在Movielens、全球恐怖主义数据库和Tmall数据集上，该模型显著优于当前最先进方法，RLBL在recall@10上达到最高54.94%，而TA-RLBL在大多数指标上表现优于RLBL。

ABSTRACT

With the rapid growth of Internet applications, sequential prediction in collaborative filtering has become an emerging and crucial task. Given the behavioral history of a specific user, predicting his or her next choice plays a key role in improving various online services. Meanwhile, there are more and more scenarios with multiple types of behaviors, while existing works mainly study sequences with a single type of behavior. As a widely used approach, Markov chain based models are based on a strong independence assumption. As two classical neural network methods for modeling sequences, recurrent neural networks cannot well model short-term contexts, and the log-bilinear model is not suitable for long-term contexts. In this paper, we propose a Recurrent Log-BiLinear (RLBL) model. It can model multiple types of behaviors in historical sequences with behavior-specific transition matrices. RLBL applies a recurrent structure for modeling long-term contexts. It models several items in each hidden layer and employs position-specific transition matrices for modeling short-term contexts. Moreover, considering continuous time difference in behavioral history is a key factor for dynamic prediction, we further extend RLBL and replace position-specific transition matrices with time-specific transition matrices, and accordingly propose a Time-Aware Recurrent Log-BiLinear (TA-RLBL) model. Experimental results show that the proposed RLBL model and TA-RLBL model yield significant improvements over the competitive compared methods on three datasets, i.e., Movielens-1M dataset, Global Terrorism Database and Tmall dataset with different numbers of behavior types.

研究动机与目标

• 解决现有协同过滤方法在建模用户序列交互中多种行为类型方面的不足。
• 克服马尔可夫链、RNN和对数线性模型在捕捉用户行为序列中复杂时间依赖关系方面的局限性。
• 开发一个统一框架，以同时建模多行为序列中的短期（位置特定）和长期（循环）依赖关系。
• 将用户行为之间的时间间隔信息纳入模型，以提升动态序列预测性能。
• 在具有多种行为类型和不同序列长度的真实世界数据集上评估所提出的模型。

提出的方法

• RLBL模型采用循环结构来建模用户行为序列中的长期依赖关系，隐藏层可同时处理多个项目。
• 采用行为特定的转移矩阵来建模用户对项目的不同行为类型（如点击、购买、卸载）。
• 使用位置特定的转移矩阵来捕捉序列中近期行为带来的短期上下文影响。
• TA-RLBL扩展版本用时间特定的矩阵替代位置特定的矩阵，以建模用户行为之间实际的时间间隔。
• 模型通过随机梯度下降进行端到端训练，用户和项目的嵌入向量，以及按行为类型参数化的转移矩阵。
• 应用归一化和早停策略以确保收敛并防止过拟合。

实验结果

研究问题

• RQ1 统一模型能否有效捕捉多行为用户序列中的短期和长期依赖关系？
• RQ2 与单一行为类型建模相比，行为特定的转移矩阵在多大程度上提升了预测准确性？
• RQ3 在行为之间引入时间间隔信息，能在多大程度上提升序列预测性能？
• RQ4 所提出的RLBL模型与FPMC、HRM和RNN等最先进方法相比，在多种数据集上的表现如何？
• RQ5 通过建模时间动态，TA-RLBL模型是否实现了比RLBL更快的收敛速度和更好的性能？

主要发现

• 在Movielens-1M数据集上，RLBL的recall@10达到54.94%，显著优于FPMC（33.87%）和RNN（43.50%）。
• 在全球恐怖主义数据库上，RLBL的MAP达到0.2811，优于RNN（0.2401）和HRM（0.1990）。
• 在Movielens上，TA-RLBL在中等长度窗口设置下的recall@10达到54.32%，略优于RLBL（54.94%）。
• RLBL和TA-RLBL每轮迭代的计算时间不到标准RNN的两倍，表明尽管性能提升，但效率仍可接受。
• 收敛曲线显示，recall@1的收敛速度比recall@5和recall@10更快，表明越长的排名列表需要更多的训练迭代。
• 无论序列长度或行为类型数量如何，该模型在Movielens、GTD和Tmall三个数据集上均表现出一致的性能提升。