[论文解读] Linguistically Regularized LSTMs for Sentiment Classification

Qian Qiao, Minlie Huang+2 more|arXiv (Cornell University)|Nov 12, 2016

Sentiment Analysis and Opinion Mining参考文献 37被引用 94

一句话总结

本文提出了一种语言学正则化的LSTM，通过在序列中显式建模情感词典、否定词和强度词的影响，提升句子级情感分类性能。该方法无需依赖短语级标注或解析树结构，通过双向LSTM中的动态情感分布正则化，捕捉语言情感转移，实现了最先进（SOTA）的性能表现。

ABSTRACT

Sentiment understanding has been a long-term goal of AI in the past decades. This paper deals with sentence-level sentiment classification. Though a variety of neural network models have been proposed very recently, however, previous models either depend on expensive phrase-level annotation, whose performance drops substantially when trained with only sentence-level annotation; or do not fully employ linguistic resources (e.g., sentiment lexicons, negation words, intensity words), thus not being able to produce linguistically coherent representations. In this paper, we propose simple models trained with sentence-level annotation, but also attempt to generating linguistically coherent representations by employing regularizers that model the linguistic role of sentiment lexicons, negation words, and intensity words. Results show that our models are effective to capture the sentiment shifting effect of sentiment, negation, and intensity words, while still obtain competitive results without sacrificing the models' simplicity.

研究动机与目标

• 开发简单高效的序列模型用于句子级情感分类，且不依赖昂贵的短语级标注或解析树结构。
• 将情感词典、否定词和强度词等语言学资源整合进神经序列模型，以提升情感分类性能。
• 通过正则化序列位置间的情感分布转移，建模情感转移词（如否定词、强度词）的语言角色。
• 在保持模型简洁性和可解释性的同时，实现与最先进模型相当的性能表现。

提出的方法

• 引入一种语言学正则化器，强制在LSTM序列中相邻位置之间的情感分布变换保持学习到的转换关系。
• 应用变换矩阵 $ T_{nw} $ 来建模否定词（如 not）如何将情感极性从一个词元反转或转移至下一个词元。
• 为强度词（如 very, extremely）设计独立的正则化器，以建模其如何在相邻位置间放大或减弱情感极性。
• 采用双向LSTM以捕捉前向和后向上下文信息，提升对情感转移词的建模能力。
• 仅使用句子级标注进行端到端训练，避免对昂贵的短语级标注的需求。
• 应用最小化算子以部分解决否定词和强度词的作用范围，提升模型鲁棒性。

实验结果

研究问题

• RQ1 能否通过建模否定词和强度词影响的语言学正则化器，提升序列模型中的情感分类性能？
• RQ2 此类正则化器能否在不依赖解析树或短语级标注的情况下，有效集成到标准LSTM中？
• RQ3 否定词和强度词如何改变序列位置间的情感分布？这些变化能否通过学习到的变换进行建模？
• RQ4 所提出的方法是否能在保持模型简洁性的同时，实现与最先进模型相当的性能？

主要发现

• 模型成功捕捉了否定词（如 not）导致的情感转移行为，例如将非常积极的短语（如 not very good）转化为中性或负面情感。
• 否定词一致地将情感从正向转为负向，从负向转为正向，典型例子包括 'not interesting' 和 'no good scenes'。
• 强度词如 'very' 和 'most' 放大情感极性，当修饰时，21个短语的情感极性从负面转为非常负面，从正面转为非常正面。
• 中性短语在被否定词修饰时仍保持中性（如 not at home），证实了模型对情感相关与非情感相关词语的区分能力。
• 模型在细粒度情感分类任务中表现强劲，当 'most' 修饰负面和正面短语时，21个案例中有21个均正确放大了情感极性。
• 该方法仅使用句子级标注即在SST数据集上达到最先进性能，优于依赖复杂树状结构架构的模型。