[论文解读] A Neural Autoregressive Approach to Collaborative Filtering

Yin Zheng, Bangsheng Tang+2 more|arXiv (Cornell University)|May 31, 2016

Music and Audio Processing参考文献 22被引用 150

一句话总结

CF-NADE 是一种用于协同过滤的神经自回归模型，参数在评分之间共享，使用因式分解版本以实现可扩展性，包含一个有序成本，并可扩展到深层结构；在 MovieLens 和 Netflix 基准测试上达到最先进的 RMSE。

ABSTRACT

This paper proposes CF-NADE, a neural autoregressive architecture for collaborative filtering (CF) tasks, which is inspired by the Restricted Boltzmann Machine (RBM) based CF model and the Neural Autoregressive Distribution Estimator (NADE). We first describe the basic CF-NADE model for CF tasks. Then we propose to improve the model by sharing parameters between different ratings. A factored version of CF-NADE is also proposed for better scalability. Furthermore, we take the ordinal nature of the preferences into consideration and propose an ordinal cost to optimize CF-NADE, which shows superior performance. Finally, CF-NADE can be extended to a deep model, with only moderately increased computational complexity. Experimental results show that CF-NADE with a single hidden layer beats all previous state-of-the-art methods on MovieLens 1M, MovieLens 10M, and Netflix datasets, and adding more hidden layers can further improve the performance.

研究动机与目标

• 介绍 CF-NADE，一种受 NADE 和 RBM-CF 启发的用于协同过滤的神经自回归模型。
• 通过在评分之间共享参数并使用因子化参数化来实现可扩展性来提高性能。
• 通过有序性质考虑评分的有序性，以提高预测质量。
• 将 CF-NADE 扩展到深层架构，以在可控计算成本下提升性能。
• 在 MovieLens 1M、MovieLens 10M 和 Netflix 上评估 CF-NADE，以展示最先进的结果。

提出的方法

• 建立在固定架构下的、在用户之间共享参数的面向用户的 CF-NADE。
• 通过神经表示和评分函数计算条件评分概率 p(r_moi|r_{<m_i})（方程式 3 和 4）。
• 在评分之间共享参数，以形成 W^k、V^k、和 b^k 的累积使用（方程式 9 和 10）。
• 将大型权重矩阵 W^k 和 V^k 因子化为低秩乘积以减少参数（方程式 11 和 12）。
• 引入有序成本 C_ord 和混合目标 C_hybrid 以利用评分顺序（方程式 18）。
• 通过随机排序和分层隐藏层将其扩展到深层 CF-NADE，训练目标与深层 NADE 的改编相一致（方程式 19-21）。

实验结果

研究问题

• RQ1 神经自回归模型（CF-NADE）在在评分之间共享参数的同时，能否有效建模用户-项评分向量？
• RQ2 参数共享和因子化表示是否提高了在大型 CF 基准上的可扩展性和性能？
• RQ3 通过有序成本将有序信息纳入是否能提升对评分的预测准确度？
• RQ4 在不产生不可承受的计算成本的前提下，CF-NADE 能否扩展为深层架构并保持性能？
• RQ5 在 MovieLens 1M、MovieLens 10M 和 Netflix 数据集上，CF-NADE 相对于最先进的 CF 方法的表现如何？

主要发现

• 在 MovieLens 1M 上，带有共享评分的 CF-NADE-S 相对于基线在 RMSE 上具有竞争力甚至优越。
• 增加第二隐藏层（深层 CF-NADE）相对于浅层变体带来进一步的 RMSE 提升。
• 在 MovieLens 1M 上，I-CF-NADE-S（单层）达到 RMSE 0.830，I-CF-NADE-S（2 层）为 0.829，超越了若干基线。
• 在 MovieLens 10M 上，U-CF-NADE-S（单层）达到 RMSE 0.772，2 层为 0.771，超越多项基线。
• 在 Netflix 上，U-CF-NADE-S（单层）达到 RMSE 0.804，2 层为 0.803，优于所列所有基线。
• 因子化版本在大型数据集上显著减少参数量，同时几乎不损失性能。