[论文解读] Improving Explainable Recommendations with Synthetic Reviews

Sixun Ouyang, Aonghus Lawlor+2 more|arXiv (Cornell University)|Jul 18, 2018

Topic Modeling参考文献 24被引用 8

一句话总结

本文提出了一种新颖的框架，通过基于字符级和词级的RNN生成模型生成合成的个性化评论，以提升可解释性推荐效果。在Amazon图书评论数据集上进行训练，并通过DeepCoNN进行评估，合成评论相比人工撰写的评论实现了5.3%更低的RMSE，表明其推荐性能更优，且情感-评分一致性更强。

ABSTRACT

An important task for a recommender system to provide interpretable explanations for the user. This is important for the credibility of the system. Current interpretable recommender systems tend to focus on certain features known to be important to the user and offer their explanations in a structured form. It is well known that user generated reviews and feedback from reviewers have strong leverage over the users' decisions. On the other hand, recent text generation works have been shown to generate text of similar quality to human written text, and we aim to show that generated text can be successfully used to explain recommendations. In this paper, we propose a framework consisting of popular review-oriented generation models aiming to create personalised explanations for recommendations. The interpretations are generated at both character and word levels. We build a dataset containing reviewers' feedback from the Amazon books review dataset. Our cross-domain experiments are designed to bridge from natural language processing to the recommender system domain. Besides language model evaluation methods, we employ DeepCoNN, a novel review-oriented recommender system using a deep neural network, to evaluate the recommendation performance of generated reviews by root mean square error (RMSE). We demonstrate that the synthetic personalised reviews have better recommendation performance than human written reviews. To our knowledge, this presents the first machine-generated natural language explanations for rating prediction.

研究动机与目标

• 为解决现有可解释推荐系统中缺乏个性化、自然语言解释的问题。
• 探究机器生成的评论是否能在推荐准确度上超越人工撰写的评论。
• 评估生成评论的情感与实际用户评分之间的一致性。
• 探索将评论生成与评分预测整合到统一框架中，以实现推荐系统中的可解释人工智能。

提出的方法

• 利用基于字符级和词级的RNN生成模型，根据用户ID、物品ID和评分生成个性化合成评论。
• 采用长短期记忆（LSTM）网络结合注意力机制与图卷积网络（GCN），建模评论生成过程，并提升与用户-物品交互的一致性。
• 将Amazon评论中的帮助度评分作为评论质量的代理指标，以指导生成更具一致性与实用性的合成评论。
• 通过BLEU和可读性等NLP指标评估文本质量，并在DeepCoNN模型上使用RMSE验证推荐性能。
• 应用皮尔逊相关系数衡量生成评论情感极性与真实评分之间的线性关系。
• 从Amazon图书评论数据集中构建自定义数据集，筛选并对齐与用户-物品交互及帮助度评分一致的评论。

实验结果

研究问题

• RQ1 基于RNN的模型生成的合成评论是否在评分预测性能上优于人工撰写的评论？
• RQ2 合成评论中的情感表达与所关联的实际评分之间的一致性如何？
• RQ3 注意力机制与GCN架构是否能提升推荐场景下生成评论的质量与相关性？
• RQ4 与基线方法相比，合成评论在减少评分估计中的异常值预测方面能达到何种程度？

主要发现

• 基于GCN的模型生成的合成评论相比Test-pair基线实现了5.3%的RMSE降低，表明其推荐性能更优。
• GCN模型在生成评论情感与真实评分之间表现出最高的皮尔逊相关系数（79.50%），显示出与用户评分的高度一致。
• 字符级模型在情感一致性方面优于词级模型，基于GCN的字符级模型实现了最佳相关系数与最低RMSE。
• 与基线相比，合成评论生成框架显著减少了异常值预测，尤其在极端评分（1分和5分）上，提升了整体预测稳定性。
• BLEU分数与可读性指标表明，生成的评论语言流畅且易于理解，体现出优异的文本生成质量。
• 注意力机制相比仅使用上下文的模型提升了性能，表现为更低的RMSE与更高的情感相关性，证实其在对齐评论与评分方面的有效性。