[论文解读] Aspect Level Sentiment Classification with Attention-over-Attention Neural Networks
本文提出了一种用于方面级情感分类的注意力-注意力（AOA）神经网络，通过双LSTM和注意力机制联合建模方面与上下文句子，捕捉方面与句子表征之间的相互关联。该模型在SemEval 2014数据集上的表现优于以往基于LSTM的方法，在餐厅数据集上达到81.2%的F1分数，在笔记本电脑数据集上达到74.5%，显著优于IAN和ATAE-LSTM等模型。
Aspect-level sentiment classification aims to identify the sentiment expressed towards some aspects given context sentences. In this paper, we introduce an attention-over-attention (AOA) neural network for aspect level sentiment classification. Our approach models aspects and sentences in a joint way and explicitly captures the interaction between aspects and context sentences. With the AOA module, our model jointly learns the representations for aspects and sentences, and automatically focuses on the important parts in sentences. Our experiments on laptop and restaurant datasets demonstrate our approach outperforms previous LSTM-based architectures.
研究动机与目标
- 通过使用深度神经网络联合建模方面与上下文句子，提升方面级情感分类性能。
- 解决先前模型将方面与句子分开处理的局限性，避免对情感承载词的关注不足。
- 开发一种机制，捕捉方面与句子之间的双向注意力，聚焦于情感极性预测中最相关的词语。
- 在基准方面级情感分类数据集上超越现有最先进基于LSTM的模型。
提出的方法
- 使用两个独立的LSTM分别编码上下文句子和方面目标，学习上下文相关和目标特定的表征。
- 采用注意力-注意力（AOA）模块，计算相互注意力：从方面到句子和从句子到方面，实现对相关词语的动态聚焦。
- 通过基于方面注意力关注句子中最相关词语，生成最终的句子表征；反之，也基于句子注意力生成方面表征。
- 将两个LSTM的最终表征拼接，并应用分类器预测情感极性（正面、负面、中性）。
- 使用词嵌入并端到端学习表征，无需人工特征工程，提升泛化能力并减少对语言预处理的依赖。
- 训练过程中应用dropout和批量归一化，以减少过拟合并提高模型在不同随机权重初始化下的稳定性。
实验结果
研究问题
- RQ1是否可以通过方面与句子之间的双向注意力联合建模方法，提升方面级情感分类的准确率？
- RQ2AOA机制是否能有效识别与特定方面相关的句子中情感承载词？
- RQ3所提出的AOA-LSTM模型在标准基准数据集上与现有最先进模型（如IAN和ATAE-LSTM）相比表现如何？
- RQ4该模型在不同领域（如餐厅和笔记本电脑评论）之间的泛化能力如何？
主要发现
- AOA-LSTM模型在SemEval 2014餐厅数据集上达到81.2%的测试F1分数，比之前最佳模型（IAN）高出2.6个百分点。
- 在笔记本电脑数据集上，模型达到74.5%的F1分数，比IAN高出1.9个百分点，表明在不同领域中均实现了稳定提升。
- 在10次随机运行中，模型在餐厅数据集上的最佳性能为81.2%（均值±标准差：0.797 ± 0.008），表明其具有高度稳定性和可复现性。
- 案例研究显示，注意力机制成功突出情感承载词（如针对'service'的'slow'），证明了方面与相关句子词语之间的有效对齐。
- 错误分析表明，该模型在处理非组合性表达、习语（如'on point'）和复杂否定时存在困难，表明其在处理隐喻性或语境复杂语言方面仍存在局限。
更好的研究，从现在开始
从论文设计到论文写作，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。