[论文解读] Collaborative Filtering with User-Item Co-Autoregressive Models

Chao Du, Chongxuan Li+3 more|arXiv (Cornell University)|Dec 21, 2016

Recommender Systems and Techniques被引用 11

一句话总结

该论文提出 CF-UIcA，一种神经共自回归模型，通过在用户和物品两个领域中利用自回归依赖关系，联合建模协同过滤中的用户-用户和物品-物品相关性。该方法在 MovieLens 1M 和 Netflix 基准测试中，在评分预测和 Top-N 推荐任务上均取得了最先进性能，通过合理整合相关性并采用高效的随机训练，显著超越了先前方法。

ABSTRACT

Deep neural networks have shown promise in collaborative filtering (CF). However, existing neural approaches are either user-based or item-based, which cannot leverage all the underlying information explicitly. We propose CF-UIcA, a neural co-autoregressive model for CF tasks, which exploits the structural correlation in the domains of both users and items. The co-autoregression allows extra desired properties to be incorporated for different tasks. Furthermore, we develop an efficient stochastic learning algorithm to handle large scale datasets. We evaluate CF-UIcA on two popular benchmarks: MovieLens 1M and Netflix, and achieve state-of-the-art performance in both rating prediction and top-N recommendation tasks, which demonstrates the effectiveness of CF-UIcA.

研究动机与目标

• 为解决现有神经协同过滤方法仅孤立建模用户或物品相关性，而未能同时利用两者的问题。
• 开发一种统一框架，通过共自回归结构显式捕捉用户-用户和物品-物品相关性。
• 通过自回归机制实现对特定任务属性的整合，从而支持对多样化推荐目标的灵活建模。
• 设计一种适用于大规模数据集的可扩展随机学习算法，确保实际部署的可行性。

提出的方法

• CF-UIcA 采用一种神经共自回归模型，对用户和物品同时进行自回归操作，建模用户和物品行为的联合分布。
• 该模型使用条件概率分解，将联合分布分解为用户条件和物品条件的自回归组件，从而实现对用户-用户相关性（UUCs）和物品-物品相关性（IICs）的联合建模。
• 通过可学习的权重矩阵（如 $\mathbf{V}^I$）引入结构化注意力机制，根据上下文动态选择相关性信息。
• 训练过程采用保持用户行为时间顺序的随机学习算法，确保因果性并提升对用户未来偏好的泛化能力。
• 在训练期间动态应用负采样以处理隐式反馈，其中仅观察到正向交互。
• 模型通过反向传播端到端训练，采用权重衰减和批量归一化，用户和物品的隐藏维度均设为 256。

实验结果

研究问题

• RQ1 统一的神经模型能否有效捕捉协同过滤中的用户-用户和物品-物品相关性？
• RQ2 共自回归是否为将特定任务属性整合到推荐模型中提供了合理方法？
• RQ3 排序选择（如时间顺序 vs. 反向顺序）如何影响自回归协同过滤中的模型性能？
• RQ4 所提出的模型能否在 MovieLens 1M 和 Netflix 等大规模基准上实现最先进性能？
• RQ5 该模型是否能在无显式监督的情况下学习到语义上有意义的表示？

主要发现

• 在 MovieLens 1M 上，CF-UIcA 达到 0.492 的最高 NDCG@10 分数，相比之前最先进方法 NeuMF 提升 10.1%（相对提升）。
• 在 MovieLens 1M 上，HR@10 达到 0.723，表明其在 Top-N 推荐任务中表现优异。
• 消融实验表明，使用时间顺序相比均匀排序基线，NDCG@10 提升 0.092，证实了因果排序的重要性。
• 通过 t-SNE 可视化显示，学习到的物品表示按类型（如儿童类和纪录片类）形成语义聚类，表明模型在无监督条件下捕捉了有意义的语义信息。
• 在 MovieLens 1M 上，每批次的平均训练时间为 0.77 秒，在 Netflix 上为 3.4 秒，表明其在大规模数据集上的可扩展性。
• 在 MovieLens 1M 上，CF-UIcA 的推理时间分别为 0.80 秒（评分预测）和 0.73 秒（Top-N 推荐），表明其推理效率高。