[论文解读] Effective LSTMs for Target-Dependent Sentiment Classification

Duyu Tang, Bing Qin+2 more|arXiv (Cornell University)|Dec 3, 2015

Sentiment Analysis and Opinion Mining被引用 559

一句话总结

本文提出了目标依赖长短期记忆网络（TD-LSTM）和目标连接长短期记忆网络（TC-LSTM）模型，将目标词信息显式地整合到LSTM架构中，用于情感分类。通过建模目标词与其上下文词之间的语义关系，该方法在无需依赖句法解析器或情感词典的情况下，在Twitter基准数据集上实现了最先进（SOTA）的准确率。

ABSTRACT

Target-dependent sentiment classification remains a challenge: modeling the semantic relatedness of a target with its context words in a sentence. Different context words have different influences on determining the sentiment polarity of a sentence towards the target. Therefore, it is desirable to integrate the connections between target word and context words when building a learning system. In this paper, we develop two target dependent long short-term memory (LSTM) models, where target information is automatically taken into account. We evaluate our methods on a benchmark dataset from Twitter. Empirical results show that modeling sentence representation with standard LSTM does not perform well. Incorporating target information into LSTM can significantly boost the classification accuracy. The target-dependent LSTM models achieve state-of-the-art performances without using syntactic parser or external sentiment lexicons.

研究动机与目标

• 解决在情感分类中建模目标词与其上下文词之间语义相关性的挑战。
• 克服传统特征工程在情感分析中的局限性，后者工作量大且难以捕捉细微的目标-上下文关系。
• 开发一种神经网络方法，端到端学习连续的分布式表示，无需人工特征设计。
• 通过显式地将目标信息整合到LSTM架构中，更好地捕捉上下文-目标依赖关系，从而提高情感分类的准确率。
• 证明标准LSTM模型在目标依赖情感任务上表现不佳，因此需要引入目标感知的建模机制。

提出的方法

• 提出一种基础LSTM模型，在句子表示学习过程中忽略目标词，将情感分类视为目标无关的任务。
• 通过将目标词嵌入作为前向和后向LSTM组件的附加输入，将基础LSTM扩展为TD-LSTM。
• 提出TC-LSTM，增加一种目标连接机制，通过计算目标表示与上下文隐藏状态之间的注意力权重，突出相关上下文词。
• 使用交叉熵损失进行反向传播，端到端训练模型，实现监督情感分类。
• 在前向和后向LSTM输出上实现软注意力机制，以动态加权上下文相关性，尽管该变体性能低于标准TC-LSTM。
• 使用词嵌入作为输入特征，目标词嵌入在训练过程中学习得到，并在分类前对最终隐藏状态进行最大池化操作。

实验结果

研究问题

• RQ1 神经网络模型是否能在不依赖句法解析或情感词典的情况下，有效学习目标-上下文语义关系？
• RQ2 将目标信息整合到LSTM架构中，对目标依赖情感分类性能有何影响？
• RQ3 通过注意力机制或直接连接建模目标与上下文词之间的交互，是否相比标准LSTM能提升分类准确率？
• RQ4 标准LSTM为何在目标依赖情感任务上表现失败，需要何种架构修改来解决此问题？
• RQ5 纯数据驱动、端到端可训练的模型是否能在无需外部语言资源的情况下实现最先进性能？

主要发现

• 标准LSTM模型在目标依赖情感分类任务上表现较差，表明其无法有效捕捉目标-上下文依赖关系。
• 通过TD-LSTM将目标信息显式整合到LSTM中，显著提升了分类准确率，证明了目标感知建模的必要性。
• TC-LSTM模型通过显式建模目标与上下文词之间的连接，在基准Twitter数据集上实现了最先进性能。
• 所提出的模型在不使用外部情感词典或依存解析的情况下，优于现有方法，如基于特征的SVM、自适应递归神经网络和词典增强神经网络。
• TD-LSTM的注意力机制扩展版本性能低于标准TC-LSTM，可能是因为在相对较小的数据集上参数量增加导致过拟合。
• 结果证实，在目标依赖设置中，建模目标与上下文词之间的语义相关性对实现准确情感分类至关重要。