[论文解读] Learning Graph ODE for Continuous-Time Sequential Recommendation

Yifang Qin, Lili Ju+3 more|arXiv (Cornell University)|Apr 14, 2023

Recommender Systems and Techniques参考文献 63被引用 5

一句话总结

该论文提出GDERec，一种基于常微分方程（ODEs）的混合动力系统的图神经网络框架，用于建模连续时间序列推荐。它采用基于自回归ODE的边演化模块和基于时间注意力的聚合模块，以捕捉动态用户偏好和非均匀采样的交互行为，在五个基准数据集上实现了最先进性能。

ABSTRACT

Sequential recommendation aims at understanding user preference by capturing successive behavior correlations, which are usually represented as the item purchasing sequences based on their past interactions. Existing efforts generally predict the next item via modeling the sequential patterns. Despite effectiveness, there exist two natural deficiencies: (i) user preference is dynamic in nature, and the evolution of collaborative signals is often ignored; and (ii) the observed interactions are often irregularly-sampled, while existing methods model item transitions assuming uniform intervals. Thus, how to effectively model and predict the underlying dynamics for user preference becomes a critical research problem. To tackle the above challenges, in this paper, we focus on continuous-time sequential recommendation and propose a principled graph ordinary differential equation framework named GDERec. Technically, GDERec is characterized by an autoregressive graph ordinary differential equation consisting of two components, which are parameterized by two tailored graph neural networks (GNNs) respectively to capture user preference from the perspective of hybrid dynamical systems. The two customized GNNs are trained alternately in an autoregressive manner to track the evolution of the underlying system from irregular observations, and thus learn effective representations of users and items beneficial to the sequential recommendation. Extensive experiments on five benchmark datasets demonstrate the superiority of our model over various state-of-the-art recommendation methods.

研究动机与目标

• 解决现有序列推荐方法在建模用户偏好随时间动态演变方面的局限性。
• 通过建模非均匀采样的用户-物品交互序列，克服对均匀采样交互的假设。
• 开发一个统一框架，在连续时间设置下同时捕捉隐式的时序动态和显式的协同信号。
• 利用神经ODE和图网络，在部分且非均匀观测下实现用户和物品的有效表征学习。

提出的方法

• 提出图ODE框架GDERec，通过基于自回归ODE的边演化模块，对用户-物品交互图的连续时间演化进行建模。
• 引入基于神经ODE的GNN，隐式建模交互图中协同信号的时序演化。
• 设计基于时间注意力的GNN，在图传播过程中显式整合时间感知的协同信号。
• 以自回归方式交替训练两个GNN组件，以从非均匀观测中追踪系统演化。
• 在注意力机制中使用时间编码，以捕捉细粒度的时序动态和流畅的偏好转变。
• 定义一种混合动力系统，结合连续ODE驱动的演化与离散交互事件，以建模现实世界中的非均匀采样。

实验结果

研究问题

• RQ1 如何有效建模在交互非均匀采样情况下的用户偏好连续时间动态演变？
• RQ2 基于图ODE的框架在序列推荐中，能在多大程度上捕捉长期序列依赖性和协同信号？
• RQ3 自回归ODE-GNN架构在处理非均匀交互序列时，能否优于静态或均匀采样模型？
• RQ4 时间注意力与ODE驱动的边演化如何协同提升序列推荐中的表征学习？

主要发现

• GDERec在五个基准数据集上实现了最先进性能，超越了现有SOTA方法在序列推荐中的表现。
• 通过可视化不断演变的用户和物品嵌入，模型有效捕捉了用户偏好随时间的流畅转变。
• 时间注意力机制使模型能够根据时间相关性动态分配过去交互的权重，提升了对偏好变化的敏感度。
• 基于ODE的边演化模块成功建模了协同信号的连续演化，即使在非均匀采样条件下亦然。
• t-SNE可视化显示，不同时间段的物品嵌入呈现出有意义的聚类，反映出用户兴趣的演变。
• 案例研究证实，GDERec能够建模用户品味的随时间转变，例如从喜剧电影转向恐怖电影，与真实行为模式一致。