[论文解读] Joint Deep Modeling of Users and Items Using Reviews for Recommendation

Lei Zheng, Vahid Noroozi+1 more|arXiv (Cornell University)|Jan 17, 2017

Recommender Systems and Techniques参考文献 31被引用 86

一句话总结

DeepCoNN 使用两个卷积神经网络和一个共享交互层，联合对来自评审文本的用户和物品进行建模，在多个数据集上实现优于基线的评分预测。

ABSTRACT

A large amount of information exists in reviews written by users. This source of information has been ignored by most of the current recommender systems while it can potentially alleviate the sparsity problem and improve the quality of recommendations. In this paper, we present a deep model to learn item properties and user behaviors jointly from review text. The proposed model, named Deep Cooperative Neural Networks (DeepCoNN), consists of two parallel neural networks coupled in the last layers. One of the networks focuses on learning user behaviors exploiting reviews written by the user, and the other one learns item properties from the reviews written for the item. A shared layer is introduced on the top to couple these two networks together. The shared layer enables latent factors learned for users and items to interact with each other in a manner similar to factorization machine techniques. Experimental results demonstrate that DeepCoNN significantly outperforms all baseline recommender systems on a variety of datasets.

研究动机与目标

• 利用丰富的评审文本来缓解推荐系统的稀疏性。
• 从评审中联合学习用户行为和物品属性。
• 在一个共同的预测框架中耦合用户与物品的潜在因子。
• 评估文本联合建模是否在不同数据集上优于仅基于评分的基线。

提出的方法

• 两个并行的基于 CNN 的网络（Net_u 用于用户，Net_i 用于物品）将合并的评审文本处理成潜在特征。
• 使用词嵌入来保持词序并捕捉语义信息。
• 使用因子分解机的共享层聚合 x_u 和 y_i 以预测评分。
• 训练使得联合目标最小化，建模用户特征与物品特征之间的二阶交互。
• 使用来自 Google News 的预训练词嵌入初始化输入层，在训练中进行微调。
• 使用 dropout 和 RMSprop 来防止过拟合并优化学习。

实验结果

研究问题

• RQ1 将用户和物品的评审联合建模是否能在仅使用评分或评审单独使用的基线之上提升评分预测？
• RQ2 通过嵌入保持词序并使用共享交互层是否比基于主题模型的方法表现更好？
• RQ3 该模型适用于在线学习并能处理稀疏数据（冷启动场景）吗？

主要发现

• DeepCoNN 在 Yelp、Amazon 和 Beer 数据集上在均方误差（MSE）方面优于 MF、PMF、LDA、CTR、HFT 和 CDL 基线。
• 跨数据集的平均 MSE：MF 1.292，PMF 1.256，LDA 1.184，CTR 1.112，HFT-10 1.088，HFT-50 1.09，CDL 1.081，DeepCoNN 0.994（最佳）。
• DeepCoNN 相比最佳基线平均提升 8.3%。
• 对于评分较少的用户/物品，DeepCoNN 展现出更强的提升，有助于缓解稀疏性和冷启动问题。
• 变体分析表明，同时对用户和物品使用词嵌入与共享 FM 层建模，相比单网络或 TF-IDF/随机表示更有利。
• DeepCoNN 在多种领域（Yelp、Amazon 类别、Beer）仍然有效。