[论文解读] LT-OCF: Learnable-Time ODE-based Collaborative Filtering

Jeongwhan Choi, Jinsung Jeon+1 more|arXiv (Cornell University)|Aug 8, 2021

Recommender Systems and Techniques参考文献 50被引用 6

一句话总结

LT-OCF 提出了一种基于可学习时间的 ODE 协同过滤框架，将用户和物品嵌入的演化建模为相互作用的常微分方程（ODE），并学习最优的时间点以聚合特征。该方法在三个基准数据集上均优于当前最先进方法，最佳性能由如 RK4 等密集 ODE 求解器实现，且可学习时间步长表现优异。

ABSTRACT

Collaborative filtering (CF) is a long-standing problem of recommender systems. Many novel methods have been proposed, ranging from classical matrix factorization to recent graph convolutional network-based approaches. After recent fierce debates, researchers started to focus on linear graph convolutional networks (GCNs) with a layer combination, which show state-of-the-art accuracy in many datasets. In this work, we extend them based on neural ordinary differential equations (NODEs), because the linear GCN concept can be interpreted as a differential equation, and present the method of Learnable-Time ODE-based Collaborative Filtering (LT-OCF). The main novelty in our method is that after redesigning linear GCNs on top of the NODE regime, i) we learn the optimal architecture rather than relying on manually designed ones, ii) we learn smooth ODE solutions that are considered suitable for CF, and iii) we test with various ODE solvers that internally build a diverse set of neural network connections. We also present a novel training method specialized to our method. In our experiments with three benchmark datasets, Gowalla, Yelp2018, and Amazon-Book, our method consistently shows better accuracy than existing methods, e.g., a recall of 0.0411 by LightGCN vs. 0.0442 by LT-OCF and an NDCG of 0.0315 by LightGCN vs. 0.0341 by LT-OCF in Amazon-Book. One more important discovery in our experiments that is worth mentioning is that our best accuracy was achieved by dense connections rather than linear connections.

研究动机与目标

• 为解决协同过滤（CF）中手动设计架构的局限性，学习最优结构组件。
• 将用户和物品嵌入传播建模为连续时间的共演化 ODE，实现平滑且自适应的特征学习。
• 通过学习用于层组合的时间点而非预先固定，提升推荐准确性。
• 探究不同 ODE 求解器在 CF 中的有效性，特别是其诱导的连接模式（如密集连接与残差连接）。

提出的方法

• 通过将层组合解释为受微分方程控制的连续时间过程，将线性 GCN（如 LightGCN）重新表述为神经 ODE。
• 引入可学习的时间点 $ t_1, t_2, ..., t_T $，使模型能够学习用户和物品嵌入聚合的最优采样时间。
• 采用多种 ODE 求解器（如 Euler、RK4）对 ODE 进行数值积分，不同求解器会诱导不同的连接模式（如 RK4 中的密集连接）。
• 提出一种新颖的训练方法，通过利用 ODE 的连续性与基于梯度的学习，确保优化过程的合理性。
• 利用在学习时间点处的 ODE 解来构成层组合，类似于深度网络中的残差或密集连接。
• 应用伴随方法实现对 ODE 求解器的高效反向传播，支持端到端训练。

实验结果

研究问题

• RQ1 与固定时间或手动设计的架构相比，基于 ODE 的协同过滤中可学习时间点是否能提升推荐准确性？
• RQ2 哪些 ODE 求解器在协同过滤中表现最佳？其诱导的连接模式（如残差、密集连接）如何影响模型准确性？
• RQ3 嵌入传播的连续时间公式是否能提升在稀疏用户-物品交互图上的泛化能力并减少过拟合？
• RQ4 是否存在一种结构归纳偏差（如密集连接），在基于 ODE 的协同过滤中始终优于标准残差架构？
• RQ5 在 LT-OCF 中，不同 ODE 求解器的计算成本与推荐准确性之间的权衡如何变化？

主要发现

• LT-OCF 在三个基准数据集（Gowalla、Yelp2018、Amazon-Book）上，于多个评估指标（如 Recall 和 NDCG）上持续优于所有当前最先进方法。
• 使用 RK4 ODE 求解器时达到最佳性能，其内部构建的连接模式类似于 DenseNet 的密集连接，在 Gowalla 数据集上 Recall 达 0.1875，NDCG 达 0.1574。
• 学习时间点 $ t_i $ 显著优于固定时间设置；例如，在 Gowalla 上，当时间点可学习时，Recall 从 0.1859 提升至 0.1875。
• Euler 方法虽然更快，但准确率低于 RK4，但仍优于 LightGCN 的 Recall，尽管训练和推理时间更长。
• 当 $ K=4 $ 且 $ T=3 $ 时模型表现最佳，表明中等数量的时间步长和特征聚合层级为最优配置。
• 由高阶求解器（如 RK4）诱导的密集连接被证明更优，表明此类架构可能不仅适用于基于 ODE 的模型，也可能是协同过滤的最优选择。