[论文解读] Improving Review Representations with User Attention and Product Attention for Sentiment Classification

Zhen Wu, Xinyu Dai+3 more|arXiv (Cornell University)|Jan 24, 2018

Sentiment Analysis and Opinion Mining参考文献 28被引用 39

一句话总结

本文提出 HUAPA，一种新颖的神经网络框架，通过在分层 LSTM 中使用专用的用户注意力和产品注意力机制，分别建模用户偏好与产品特征。通过学习用户情感与产品属性的独立表征，并结合加权损失策略，该模型在 IMDB 和 Yelp 数据集上实现了最先进的性能，在情感分类任务中优于现有方法。

ABSTRACT

Neural network methods have achieved great success in reviews sentiment classification. Recently, some works achieved improvement by incorporating user and product information to generate a review representation. However, in reviews, we observe that some words or sentences show strong user's preference, and some others tend to indicate product's characteristic. The two kinds of information play different roles in determining the sentiment label of a review. Therefore, it is not reasonable to encode user and product information together into one representation. In this paper, we propose a novel framework to encode user and product information. Firstly, we apply two individual hierarchical neural networks to generate two representations, with user attention or with product attention. Then, we design a combined strategy to make full use of the two representations for training and final prediction. The experimental results show that our model obviously outperforms other state-of-the-art methods on IMDB and Yelp datasets. Through the visualization of attention over words related to user or product, we validate our observation mentioned above.

研究动机与目标

• 为解决现有模型将用户与产品信息融合为单一表征的局限性，该方法无法充分捕捉其在情感判断中的不同作用。
• 探究用户偏好与产品特征在决定评论情感时是否扮演不同角色，基于评论中观察到的语言模式。
• 通过分别引入用户与产品视角的注意力机制，显式建模用户与产品视角，改进评论表征学习。
• 设计一种联合训练策略，通过结合用户与产品注意力视图来增强表征学习。
• 通过注意力可视化与基准数据集上的实证评估，验证模型的可解释性与有效性。

提出的方法

• 该模型采用两个独立的分层长短期记忆（LSTM）网络：一个使用用户注意力，一个使用产品注意力，分别从不同视角编码评论文本。
• 用户注意力聚焦于表达个人情感或偏好的词语（如 'love'、'disappointed'），而产品注意力则突出与产品特性相关的描述性词语（如 'modern'、'cool'）。
• 模型使用包含三个分量的联合损失函数：主要分类损失，以及用户和产品注意力表征的两个辅助损失。
• 辅助损失（$loss_2$ 和 $loss_3$）通过可学习参数（$\lambda_2$、$\lambda_3$）加权，以在训练过程中平衡各视图的贡献。
• 最终预测通过拼接用户注意力网络与产品注意力网络的两个上下文向量，并将其输入分类器完成。
• 该框架通过损失的加权组合进行端到端训练，联合优化情感分类与来自两个视图的表征质量。

实验结果

研究问题

• RQ1 用户偏好与产品特征在决定评论情感时是否扮演不同角色？单独建模是否具有优势？
• RQ2 与联合建模相比，为用户与产品视角分别设计注意力机制是否能提升情感分类性能？
• RQ3 所提出的联合损失策略在增强来自用户与产品视图的表征学习方面是否有效？
• RQ4 注意力可视化是否能证实模型正确识别出情感相关词语（用户）与特征相关词语（产品）？
• RQ5 该模型是否在标准情感分类基准数据集上持续且显著优于最先进方法？

主要发现

• HUAPA 模型在 IMDB 与 Yelp 数据集上均实现了最先进性能，在情感分类任务中优于现有方法。
• 消融实验表明，单独使用用户注意力或产品注意力均能提升基线模型性能，验证了各组件的有效性。
• 用户注意力对性能的贡献显著高于产品注意力，可能是因为情感评分本质上由用户驱动。
• 包含全部三个损失分量（$loss_1$、$loss_2$、$loss_3$）的完整 HUAPA 模型达到最佳性能，证明了联合训练策略的优势。
• 注意力权重可视化结果证实，模型能以高注意力分数正确识别用户导向词语（如 'love'）与产品导向词语（如 'cool'、'modern'）。
• 该模型成功捕捉到不一致的情感模式，例如产品描述为正面（'good'）但用户情感为负面（'disappointed'），并能做出正确预测。