[论文解读] Aspect Level Sentiment Classification with Deep Memory Network

Duyu Tang, Bing Qin+1 more|arXiv (Cornell University)|May 28, 2016

Sentiment Analysis and Opinion Mining参考文献 30被引用 82

一句话总结

本文提出了一种用于方面级情感分类的深度记忆网络，通过在外部记忆上使用基于内容和位置的多层注意力机制，显式建模上下文词的重要性。该方法在准确率和速度上均优于LSTM和基于注意力的LSTM模型，在SemEval 2014数据集上的性能与当前最先进（SOTA）的基于特征的SVM系统相当。

ABSTRACT

We introduce a deep memory network for aspect level sentiment classification. Unlike feature-based SVM and sequential neural models such as LSTM, this approach explicitly captures the importance of each context word when inferring the sentiment polarity of an aspect. Such importance degree and text representation are calculated with multiple computational layers, each of which is a neural attention model over an external memory. Experiments on laptop and restaurant datasets demonstrate that our approach performs comparable to state-of-art feature based SVM system, and substantially better than LSTM and attention-based LSTM architectures. On both datasets we show that multiple computational layers could improve the performance. Moreover, our approach is also fast. The deep memory network with 9 layers is 15 times faster than LSTM with a CPU implementation.

研究动机与目标

• 为解决LSTM等循环模型在显式识别对方面情感预测具有关键作用的上下文词方面的局限性。
• 开发一种数据驱动、计算高效的模型，以捕捉每个上下文词相对于给定方面的相对重要性。
• 通过在共享参数的外部记忆上使用多层计算，提升情感分类性能。
• 实现端到端训练，仅依赖梯度下降，无需依赖句法解析器或情感词典。
• 证明在记忆上使用多跳注意力机制可生成优于单跳或序列模型的表示。

提出的方法

• 该模型使用多个计算层的堆叠，每一层都在外部记忆矩阵上实现基于内容和位置的注意力机制。
• 每一层基于其与方面的相关性，计算上下文词的注意力权重，使用从方面和上下文表示中派生的查询向量。
• 注意力机制计算上下文向量的加权和，其中权重同时反映语义相关性（内容）和位置重要性（位置）。
• 每一层的输出传递给下一层，各层共享参数，从而实现对上下文重要性的分层抽象。
• 最后一层的输出作为情感分类的句子表示，整个网络通过反向传播和交叉熵损失进行端到端训练。
• 该模型无需预训练词嵌入、句法解析或情感词典，仅依赖学习得到的表示和注意力机制。

实验结果

研究问题

• RQ1 具有多层注意力机制的深度记忆网络是否能比循环模型更有效地显式建模上下文词对方面情感分类的重要性？
• RQ2 在注意力机制中整合内容和位置信息是否能带来优于仅基于内容的注意力机制的性能提升？
• RQ3 该深度记忆网络在性能上与最先进的基于特征的SVM和序列神经模型（如LSTM）相比如何？
• RQ4 记忆网络中多个计算层（跳数）是否能相比单层方法提升分类准确率？
• RQ5 在实际应用中，该模型是否显著快于标准的LSTM架构？

主要发现

• 该深度记忆网络在SemEval 2014的笔记本电脑和餐厅数据集上，性能与当前最先进（SOTA）的基于特征的SVM系统相当。
• 在两个数据集上，该模型在分类准确率方面均优于标准LSTM和基于注意力的LSTM架构。
• 具有9层的深度记忆网络比CPU实现的LSTM快15倍，显示出显著的计算效率。
• 使用多层计算（跳数）带来了性能提升，证实了在外部记忆上使用分层注意力的优势。
• 在注意力机制中同时引入内容和位置信息，相比仅基于内容的注意力，能实现更好的上下文权重学习和更优的文本表示。
• 该模型在不依赖情感词典或句法解析器等外部资源的情况下依然有效，仅依赖端到端训练和注意力机制。