[论文解读] Deep Coevolutionary Network: Embedding User and Item Features for Recommendation

Hanjun Dai, Yichen Wang+2 more|arXiv (Cornell University)|Sep 13, 2016

Recommender Systems and Techniques参考文献 32被引用 74

一句话总结

本文提出 DeepCoevolve，一种深度共演化网络，通过在多变量点过程框架内使用循环神经网络（RNN）建模用户与物品特征之间的非线性、时变交互关系。该模型通过非参数化、动态嵌入捕捉用户与物品之间的相互影响，在时间敏感的推荐与活动预测任务中达到最先进性能。

ABSTRACT

Recommender systems often use latent features to explain the behaviors of users and capture the properties of items. As users interact with different items over time, user and item features can influence each other, evolve and co-evolve over time. The compatibility of user and item's feature further influence the future interaction between users and items. Recently, point process based models have been proposed in the literature aiming to capture the temporally evolving nature of these latent features. However, these models often make strong parametric assumptions about the evolution process of the user and item latent features, which may not reflect the reality, and has limited power in expressing the complex and nonlinear dynamics underlying these processes. To address these limitations, we propose a novel deep coevolutionary network model (DeepCoevolve), for learning user and item features based on their interaction graph. DeepCoevolve use recurrent neural network (RNN) over evolving networks to define the intensity function in point processes, which allows the model to capture complex mutual influence between users and items, and the feature evolution over time. We also develop an efficient procedure for training the model parameters, and show that the learned models lead to significant improvements in recommendation and activity prediction compared to previous state-of-the-arts parametric models.

研究动机与目标

• 建模推荐系统中用户与物品潜在特征的非线性、时变共演化关系。
• 克服参数化模型在特征演化上假设固定函数形式的局限性。
• 实现对未来用户-物品交互的精确时间预测，这是基于周期的或线性模型无法实现的。
• 为在演化交互网络中产生的相互依赖、非独立同分布数据上的 RNN 模型开发高效的训练方法。
• 通过捕捉用户与物品之间复杂、动态的交互关系，提升推荐准确率与活动预测性能。

提出的方法

• 该模型使用多变量点过程将用户-物品交互视为连续时间中的事件，其强度函数由作用于演化交互图的 RNN 定义。
• 在每次交互时间点，使用能捕捉自演化、共演化、上下文（交互特征）及自漂移的非线性 RNN 更新用户与物品嵌入。
• RNN 处理由过去交互构成的序列，学习编码用户与物品特征之间的动态影响。
• 开发了一种随机训练算法，以处理共演化网络中样本的相互依赖性，实现可扩展的优化。
• 该模型以非参数化方式参数化强度函数，避免对特征演化函数形式施加强假设。
• 该框架支持物品预测与到达时间预测，实现时间敏感的推荐。

实验结果

研究问题

• RQ1 如何建模用户与物品潜在特征的非线性、时变共演化关系，以捕捉相互影响？
• RQ2 基于 RNN 的深度学习方法能否有效建模用户-物品交互序列的复杂、非参数化动态？
• RQ3 如何在大规模、相互依赖、非独立同分布的演化交互网络数据上高效训练此类模型？
• RQ4 所提出的模型是否在时间敏感的推荐任务中优于现有的参数化和线性模型？
• RQ5 捕捉特征共演化特性在多大程度上提升了对物品和交互时间的预测准确率？

主要发现

• 与最先进参数化模型相比，DeepCoevolve 在推荐准确率与活动预测方面实现了显著提升。
• 该模型能够实现对未来交互的精确到达时间预测，这是大多数先前工作所不支持的能力。
• 基于非参数化 RNN 的强度函数比线性或固定参数化模型更有效地捕捉复杂、非线性的共演化动态。
• 随机训练过程使模型在具有 RNN 组件的大规模交互网络中具备可扩展性与可处理性。
• 该模型在多个数据集上表现持续优越，证明了建模动态、相互依赖的特征演化的重要性。
• 该框架的表达能力优于线性霍克斯过程，并在多变量、共演化场景中优于 RMTPP 等模型。