[论文解读] A Sentiment-and-Semantics-Based Approach for Emotion Detection in Textual Conversations

Umang Gupta, Ankush Chatterjee+2 more|arXiv (Cornell University)|Jul 21, 2017

Sentiment Analysis and Opinion Mining参考文献 28被引用 82

一句话总结

本文提出 SS-LSTM，一种将语义（GloVe）与情感（SSWE）表示相结合的双嵌入 LSTM 模型，用于在三轮文本对话中检测情感（Happy、Sad、Angry、Others），在传统 ML 和其他 DL 基线之上表现更优。

ABSTRACT

Emotions are physiological states generated in humans in reaction to internal or external events. They are complex and studied across numerous fields including computer science. As humans, on reading "Why don't you ever text me!" we can either interpret it as a sad or angry emotion and the same ambiguity exists for machines. Lack of facial expressions and voice modulations make detecting emotions from text a challenging problem. However, as humans increasingly communicate using text messaging applications, and digital agents gain popularity in our society, it is essential that these digital agents are emotion aware, and respond accordingly. In this paper, we propose a novel approach to detect emotions like happy, sad or angry in textual conversations using an LSTM based Deep Learning model. Our approach consists of semi-automated techniques to gather training data for our model. We exploit advantages of semantic and sentiment based embeddings and propose a solution combining both. Our work is evaluated on real-world conversations and significantly outperforms traditional Machine Learning baselines as well as other off-the-shelf Deep Learning models.

研究动机与目标

• 出于缺乏面部/语音线索，动机在文本对话中进行情感检测。
• 开发一个数据高效的深度学习模型，避免手工特征。
• 探索将语义和情感嵌入结合对情感分类的影响，以提升性能。

提出的方法

• 提出 SS-LSTM：两个并行的 LSTM 分支对同一话语进行处理，使用不同的嵌入（语义用 GloVe，情感用 SSWE）。
• 将两个特征表示拼接后输入到只有一个隐藏层的全连接网络，以输出情感类别概率。
• 使用 SGD 结合交叉熵损失与 softmax 训练；批量大小 4000，学习率 0.005。
• 通过半自动标注的 Twitter Q-As 大规模创建训练数据，并结合表情符号归一化与数据增强技术。
• 与 ML 基线（NB、SVM、GBDT）和 DL 基线（CNN-NAVA、LSTM 变体）进行对比。

实验结果

研究问题

• RQ1 将情感特定与语义嵌入相结合，能否提升文本对话中的情感识别？
• RQ2 SS-LSTM 变体在真实对话数据上相比标准 DL 和传统 ML 方法的表现如何？
• RQ3 嵌入选择（GloVe 与 SSWE）对情感检测中的语义/情感特征学习有何影响？
• RQ4 表情符号处理与数据收集策略如何影响模型性能？

主要发现

• SS-LSTM 在所有基线中取得最佳平均 F1，覆盖所有情感类别。
• SS-LSTM 优于基于 CNN 的方法以及其他 LSTM/嵌入变体，且具有统计显著提升（p < 0.005）。
• 基于 GloVe 的语义嵌入与 SSWE 情感嵌入的组合表现出强劲性能，证明其在 SS-LSTM 中的有效性。
• 深度学习模型总体上优于评估数据集上的传统 ML 基线（NB、SVM、GBDT）。
• 所提出的数据收集与表情符号归一化策略有助于获得更高质量的对话情感训练数据。