[论文解读] NeuRec: On Nonlinear Transformation for Personalized Ranking

Shuai Zhang, Lina Yao+4 more|arXiv (Cornell University)|May 8, 2018

Recommender Systems and Techniques参考文献 21被引用 16

一句话总结

NeuRec 提出了一种基于深度神经网络的推荐模型，通过将非线性变换与潜在因子模型相结合，利用隐式反馈改进个性化排序。通过分别使用基于用户的神经网络和基于项目的神经网络对用户与项目之间的交互进行建模，该模型在参数更少的情况下实现了最先进（SOTA）的性能，在归一化折损累计增益（NDCG）上相比基线模型最高提升12.29%。

ABSTRACT

Modeling user-item interaction patterns is an important task for personalized recommendations. Many recommender systems are based on the assumption that there exists a linear relationship between users and items while neglecting the intricacy and non-linearity of real-life historical interactions. In this paper, we propose a neural network based recommendation model (NeuRec) that untangles the complexity of user-item interactions and establishes an integrated network to combine non-linear transformation with latent factors. We further design two variants of NeuRec: user-based NeuRec and item-based NeuRec, by concentrating on different aspects of the interaction matrix. Extensive experiments on four real-world datasets demonstrated their superior performances on personalized ranking task.

研究动机与目标

• 解决协同过滤中线性假设在个性化排序任务中的局限性。
• 利用深度神经网络对隐式反馈中的复杂非线性用户-项目交互模式进行建模。
• 在相比现有基于深度学习的推荐系统时，减少模型参数量的同时提升排序性能。
• 提出两种变体——基于用户的 NeuRec 和基于项目的 NeuRec，以探索交互矩阵的不同方面。
• 构建一个集成框架，结合潜在因子模型与深度神经网络的优势，用于隐式反馈场景。

提出的方法

• 提出 U-NeuRec 和 I-NeuRec 两种变体，分别对用户和项目交互向量应用深度神经网络。
• 使用多层感知机（MLP）从交互矩阵中学习用户或项目交互模式的非线性变换。
• 将神经网络的输出与潜在因子表示相结合，以同时建模线性与非线性关系。
• 应用成对排序损失（类似于 BPR）来优化模型，以适应个性化排序任务。
• 在隐藏层中使用 Sigmoid 激活函数，将输出限制在 [0,1] 范围内，以匹配二值隐式反馈的特性。
• 通过调整潜在因子大小、神经元数量、网络深度和激活函数等超参数，平衡性能与泛化能力。

实验结果

研究问题

• RQ1 与 BPR 和 SLIM 等线性模型相比，非线性深度神经网络是否能提升个性化排序性能？
• RQ2 将潜在因子模型与深度神经网络结合，如何增强对复杂用户-项目交互的建模能力？
• RQ3 不同神经网络架构（如深度、宽度、激活函数）对排序性能有何影响？
• RQ4 U-NeuRec 和 I-NeuRec 为何表现出不同的性能模式？其设计选择如何影响泛化能力？
• RQ5 深度神经网络模型是否能在参数更少的情况下，实现优于现有最先进模型的性能？

主要发现

• NeuRec 在四个真实世界数据集上均优于所有基线模型，在 Movielens HetRec 上 NDCG 提升 8.61%，在 Movielens 1M 上提升 12.29%。
• 在成对训练中，基于用户的变体（U-NeuRec）性能优于基于项目的变体（I-NeuRec），可能是因为其对正样本和负样本的表示更加独立。
• 最优性能出现在潜在因子大小介于 30 到 50 之间，过大维度可能导致过拟合。
• 模型复杂度需平衡——神经元过少或过多均会导致欠拟合或泛化能力下降，峰值性能出现在 150–250 个神经元左右。
• Sigmoid 激活函数优于 ReLU、tanh 和恒等函数，可能因其能将输出限制在 [0,1] 范围，更契合二值隐式反馈。
• 网络深度超过 7 层会导致性能显著下降，表明对于此任务，浅层网络（3–7 层）为最优选择。