[论文解读] Opinion Recommendation using Neural Memory Model

Zhongqing Wang, Yue Zhang|arXiv (Cornell University)|Feb 6, 2017

Sentiment Analysis and Opinion Mining参考文献 33被引用 7

一句话总结

本文提出了一种神经记忆模型用于情感推荐，通过结合其他用户的评论以及目标用户的过往评论，联合预测用户-产品对的个性化评分与评论。通过利用深度记忆网络建模用户-产品交互，并实现多任务学习，该方法在Yelp数据集上的评分准确率和评论质量方面均优于当前最先进基线模型。

ABSTRACT

We present opinion recommendation, a novel task of jointly predicting a custom review with a rating score that a certain user would give to a certain product or service, given existing reviews and rating scores to the product or service by other users, and the reviews that the user has given to other products and services. A characteristic of opinion recommendation is the reliance of multiple data sources for multi-task joint learning, which is the strength of neural models. We use a single neural network to model users and products, capturing their correlation and generating customised product representations using a deep memory network, from which customised ratings and reviews are constructed jointly. Results show that our opinion recommendation system gives ratings that are closer to real user ratings on Yelp.com data compared with Yelp's own ratings, and our methods give better results compared to several pipelines baselines using state-of-the-art sentiment rating and summarization systems.

研究动机与目标

• 为解决Yelp等平台中通用产品评分和冗长评论列表的局限性，生成定制化、用户特定的意见。
• 克服现有系统将评分预测与评论生成视为独立任务所带来的不足，从而实现更优的个性化效果。
• 利用深度神经网络联合建模用户偏好与产品特征，整合文本评论与评分数据。
• 通过协同过滤识别并整合邻居用户反馈，缓解用户评论数量较少时的数据稀疏问题。
• 通过端到端的多任务学习共享评分与评论生成之间的参数，提升预测性能。

提出的方法

• 使用循环神经网络（RNN）将每条评论的语义内容编码为密集向量表示。
• 采用神经网络将目标产品的所有评论整合为单一的产品表示，形成产品模型。
• 通过神经网络将用户的过往评论编码为单一向量表示，构建用户模型。
• 应用协同过滤识别相似用户（邻居），并利用神经邻居模型聚合其评论历史。
• 利用具有多跳机制的深度记忆网络建模用户与产品表示之间的交互，实现评分与评论的联合预测。
• 引入偏置参数 μ，以平衡现有评论评分与用户特定产品表示在评分预测中的影响。

实验结果

研究问题

• RQ1 统一的神经模型是否能比流水线式方法更准确地联合预测个性化评分与评论？
• RQ2 利用邻居用户信息在缓解评论历史有限用户的数据稀疏问题方面有多有效？
• RQ3 记忆网络中捕捉相关用户-产品交互的最优记忆跳数是多少？
• RQ4 现有评论评分与学习到的用户特定表示之间的平衡如何影响评分预测性能？
• RQ5 与单任务基线相比，多任务学习在提升评分准确率与评论质量方面的改善程度如何？

主要发现

• 所提出的联合模型（Joint）的评分误差为1.023，显著低于Yelp的平均基线（1.280）及其他推荐系统（如RS-MF：1.143），p < 0.01（t检验）。
• 该模型的评论生成性能（F1: 0.250）优于当前最先进的抽象摘要模型（如Sum-LSTM-Att：0.196），表明其个性化与相关性更优。
• 消融实验表明，用户特定评论与邻居用户信息均显著提升性能，其中 -user,-neighbor 变体的误差降至1.342，而仅使用用户数据时为1.254。
• 最优记忆跳数为3，因为更高跳数导致过拟合并降低性能。
• 设置偏置参数 μ = 1 时性能最佳，表明现有评论评分与用户特定表示在评分预测中具有同等重要性。
• 通过记忆网络中参数共享实现的多任务学习显著提升了评分与评论生成性能，如联合模型相比独立评分或生成模型表现更优。