[论文解读] Interactive Attention Networks for Aspect-Level Sentiment Classification

Dehong Ma, Sujian Li+2 more|arXiv (Cornell University)|Sep 4, 2017

Sentiment Analysis and Opinion Mining参考文献 13被引用 126

一句话总结

IAN 联合建模目标和上下文，利用交互式注意力生成目标表示和上下文表示，在 SemEval-2014 Task 4 的餐馆和笔记本电脑评论上达到最先进的准确率。

ABSTRACT

Aspect-level sentiment classification aims at identifying the sentiment polarity of specific target in its context. Previous approaches have realized the importance of targets in sentiment classification and developed various methods with the goal of precisely modeling their contexts via generating target-specific representations. However, these studies always ignore the separate modeling of targets. In this paper, we argue that both targets and contexts deserve special treatment and need to be learned their own representations via interactive learning. Then, we propose the interactive attention networks (IAN) to interactively learn attentions in the contexts and targets, and generate the representations for targets and contexts separately. With this design, the IAN model can well represent a target and its collocative context, which is helpful to sentiment classification. Experimental results on SemEval 2014 Datasets demonstrate the effectiveness of our model.

研究动机与目标

• 在方面级情感分类中，推动对目标及其周围上下文的精准建模。
• 提出交互注意力网络（IAN），通过互相注意学习目标和上下文特定表示。
• 证明交互式目标-上下文建模在 SemEval-2014 数据集上可获得更优的情感预测。
• 展示通过带有交互监督的分离学习目标和上下文表示可以提升性能。

提出的方法

• 使用两个 LSTM 分支对上下文和目标词序列进行编码。
• 通过对 LSTM 隐含状态求平均来计算初始的上下文表示和目标表示。
• 应用带有交叉监督的注意力：上下文注意力由目标平均表示引导，反之亦然。
• 获取带关注的上下文表示（cr）和目标表示（tr），并将它们拼接用于分类。
• 通过一个非线性层投影并应用 softmax 以预测情感极性。
• 端到端训练，使用交叉熵损失和 L2 正则化，并采用 dropout 进行正则化。

实验结果

研究问题

• RQ1 单独对目标和上下文进行建模并采用交互式注意力，是否能够比以往方法在方面级情感分类上取得改进？
• RQ2 目标表示和上下文表示之间的相互作用是否会带来更好的目标情感预测？
• RQ3 与其他基于 LSTM 的模型相比，IAN 在 SemEval-2014 的 Restaurant 和 Laptop 数据集上的表现如何？

主要发现

方法	餐馆准确率	笔记本准确率
Majority	0.535	0.650
LSTM	0.743	0.665
TD-LSTM	0.756	0.681
AE-LSTM	0.762	0.689
ATAE-LSTM	0.772	0.687
IAN	0.786	0.721

• IAN 在餐馆和笔记本电脑两个领域的 SemEval-2014 Task 4 上均达到被评估基线中的最高准确率。
• 与 ATAE-LSTM 相比，IAN 的餐馆准确率提升约 1.4%，笔记本电脑准确率提升约 3.2%。
• 消融分析表明目标建模和目标-上下文交互对性能有益。
• 案例研究展示了注意力对上下文中含情感的词以及相关目标词的有意义聚焦。
• 更长的目标（更多词）通过分离的目标建模和交互注意力获得更大受益。