[论文解读] Learning Dynamic Embeddings from Temporal Interactions

Srijan Kumar, Xikun Zhang+1 more|arXiv (Cornell University)|Dec 6, 2018

Recommender Systems and Techniques参考文献 44被引用 18

一句话总结

JODIE 是一种耦合的循环神经网络模型，通过一种受卡尔曼滤波器启发的新型投影机制，从时间序列交互中联合学习用户和物品的动态嵌入，以预测未来的嵌入。它在未来的交互预测和状态变化预测任务中达到最先进性能，相比六种基线模型最高提升22.4%，并能提前最多五个交互步骤实现对学生辍学的早期检测。

ABSTRACT

Modeling a sequence of interactions between users and items (e.g., products, posts, or courses) is crucial in domains such as e-commerce, social networking, and education to predict future interactions. Representation learning presents an attractive solution to model the dynamic evolution of user and item properties, where each user/item can be embedded in a euclidean space and its evolution can be modeled by dynamic changes in embedding. However, existing embedding methods either generate static embeddings, treat users and items independently, or are not scalable. Here we present JODIE, a coupled recurrent model to jointly learn the dynamic embeddings of users and items from a sequence of user-item interactions. JODIE has three components. First, the update component updates the user and item embedding from each interaction using their previous embeddings with the two mutually-recursive Recurrent Neural Networks. Second, a novel projection component is trained to forecast the embedding of users at any future time. Finally, the prediction component directly predicts the embedding of the item in a future interaction. For models that learn from a sequence of interactions, traditional training data batching cannot be done due to complex user-user dependencies. Therefore, we present a novel batching algorithm called t-Batch that generates time-consistent batches of training data that can run in parallel, giving massive speed-up. We conduct six experiments on two prediction tasks---future interaction prediction and state change prediction---using four real-world datasets. We show that JODIE outperforms six state-of-the-art algorithms in these tasks by up to 22.4%. Moreover, we show that JODIE is highly scalable and up to 9.2x faster than comparable models. As an additional experiment, we illustrate that JODIE can predict student drop-out from courses five interactions in advance.

研究动机与目标

• 解决在具有时间依赖性的动态交互网络中联合建模用户和物品嵌入的挑战。
• 克服现有方法中静态嵌入以及用户与物品独立建模的局限性。
• 开发一种可扩展的序列交互数据训练方法，保持时间一致性并支持并行化。
• 实现实时应用中对未来交互和用户状态变化（如课程辍学）的准确预测。
• 证明该模型作为早期预警系统，在教育和社交平台中识别高风险用户的有效性。

提出的方法

• JODIE 使用两个相互递归的循环神经网络（RNN），在每次交互后利用其先前的嵌入来更新用户和物品的嵌入。
• 一种新型投影组件使用受卡尔曼滤波器启发的可微函数，预测任意未来时间点的用户嵌入。
• 预测组件直接预测未来交互中涉及物品的嵌入，从而支持端到端训练。
• t-Batch算法通过尊重时间顺序和用户交互依赖关系，生成时间一致且可并行化的训练批次。
• 该模型通过带有时间戳和特征向量的用户-物品交互序列进行端到端训练，以优化未来交互和状态变化预测。
• 使用可微投影函数使得时间反向传播成为可能，使模型能够学习长期动态。

实验结果

研究问题

• RQ1 能否通过捕捉用户与物品之间相互影响的联合动态嵌入模型，超越独立处理用户与物品或使用静态嵌入的模型？
• RQ2 如何在保持时间依赖性并支持并行化的同时，使序列交互数据的训练更具可扩展性？
• RQ3 动态嵌入在多大程度上能比现有方法更早地预测未来交互和用户状态变化（如课程辍学）？
• RQ4 模型对嵌入维度和训练数据规模变化的鲁棒性如何？
• RQ5 该模型能否作为有效的早期预警系统，在关键事件（如辍学）发生前识别出高风险用户？

主要发现

• 在四个真实世界数据集上，JODIE 在未来交互预测任务中相比六种最先进模型，平均倒数排名（MRR）最高提升22.4%。
• 在用户状态变化预测（如学生辍学）任务中，即使仅使用20%的训练数据，JODIE 的AUC也比基线最高提升3.1%。
• JODIE 能够在实际辍学发生前最多五个交互步骤内逐步提高预测准确率，展现出强大的早期预警能力。
• 该模型在嵌入维度（32至256）变化时性能保持稳定，表明对超参数选择具有鲁棒性。
• t-Batch训练算法相比同类模型最高实现9.2倍的加速，显著提升了训练可扩展性。
• JODIE 在不同数据集和数据划分下均表现一致，证实其对数据规模和分布偏移具有鲁棒性。