[论文解读] Learning Attitudes and Attributes from Multi-Aspect Reviews

Julian McAuley, Jure Leskovec+1 more|arXiv (Cornell University)|Oct 15, 2012

Sentiment Analysis and Opinion Mining参考文献 31被引用 15

一句话总结

该论文提出 PaleLager，一种可扩展且可解释的模型，通过从多方面评分中获得弱监督，从多方面评论中学习特定方面的情感。该模型将内容词与情感词解耦，实现准确的方面分配、评论摘要生成以及缺失评分恢复，在涵盖多个领域的五百万条评论大规模数据集上达到最先进性能。

ABSTRACT

The majority of online reviews consist of plain-text feedback together with a single numeric score. However, there are multiple dimensions to products and opinions, and understanding the `aspects' that contribute to users' ratings may help us to better understand their individual preferences. For example, a user's impression of an audiobook presumably depends on aspects such as the story and the narrator, and knowing their opinions on these aspects may help us to recommend better products. In this paper, we build models for rating systems in which such dimensions are explicit, in the sense that users leave separate ratings for each aspect of a product. By introducing new corpora consisting of five million reviews, rated with between three and six aspects, we evaluate our models on three prediction tasks: First, we use our model to uncover which parts of a review discuss which of the rated aspects. Second, we use our model to summarize reviews, which for us means finding the sentences that best explain a user's rating. Finally, since aspect ratings are optional in many of the datasets we consider, we use our model to recover those ratings that are missing from a user's evaluation. Our model matches state-of-the-art approaches on existing small-scale datasets, while scaling to the real-world datasets we introduce. Moreover, our model is able to `disentangle' content and sentiment words: we automatically learn content words that are indicative of a particular aspect as well as the aspect-specific sentiment words that are indicative of a particular rating.

研究动机与目标

• 建模用户观点在产品多个方面（如啤酒评论中的味道、气味和触感）上的分布方式。
• 开发一种可扩展的方法，仅使用方面评分（无需人工标注）来学习哪些句子讨论了哪些方面。
• 通过将每个方面的内容词与情感词分离，生成可解释的方面和情感词典。
• 从评论文本和总体评分中预测缺失的方面评分，即使方面评分是可选的。
• 通过识别最能解释用户总体评分的句子，改进评论摘要生成。

提出的方法

• 提出 PaleLager，一种概率模型，通过潜在变量混合模型联合建模每个方面的方面分配与情感。
• 利用多方面评分作为弱监督，训练一种无监督模型，学习特定方面的词分布和情感权重。
• 应用成对评分模型，显式建模方面评分之间的相关性，以提升缺失评分预测性能。
• 为每个方面引入独立的情感参数，实现每个方面的独立情感词典（例如，'watery' 对味道为负面，对外观为中性）。
• 采用分段模型将每个句子分配给一个方面，仅使用方面评分作为监督信号。
• 在三种设置下训练模型：无监督（仅使用评分）、弱监督（少量标注句子）和完全监督（完全标注数据）。

实验结果

研究问题

• RQ1 能否将多方面评分作为弱监督，用于学习评论中哪些句子讨论了哪些方面？
• RQ2 模型能否识别出最能代表用户总体评分的句子，从而实现有效的评论摘要？
• RQ3 能否从评论文本和总体评分中恢复缺失的方面评分，尤其是在方面评分可选的情况下？
• RQ4 将方面内容与情感分离，相较于联合建模，能否提升可解释性和性能？
• RQ5 建模方面评分之间的相关性，相较于独立模型，能否提升缺失评分预测的准确性？

主要发现

• 无监督的 PaleLager 模型在无任何人工标注的情况下，实现了强大的方面检测与摘要性能，在某些设置下甚至优于有监督基线模型。
• 该模型学习到高度可解释的方面与情感词典：内容词主要为名词（如 'flavor', 'aroma'），情感词主要为形容词（如 'stale', 'velvety'）。
• 与 SVM 基线相比，成对评分模型在使用未分段文本时将预测误差降低 23%，在结合分段文本后进一步降低 22%。
• 即使方面标签存在误差，无监督模型仍能生成具有预测能力的评分，表明学习到的方面分配与用户评分之间存在内在相关性。
• 该模型成功识别出 'corn' 一词在啤酒评论中与味道和气味呈负相关，反映了爱好者群体中的真实语义联想。
• 文本分段有助于提升评分预测性能，但成功的关键在于建模方面之间的相关性——仅靠分段本身不足以实现最佳效果。