[论文解读] Emotion Detection in Text: Focusing on Latent Representation

Armin Seyeditabari, Narges Tabari+2 more|arXiv (Cornell University)|Jul 22, 2019

Sentiment Analysis and Opinion Mining参考文献 26被引用 10

一句话总结

该论文提出了一种基于双向GRU的深度学习模型，通过学习更具信息量的潜在表征，提升了文本情感检测的性能，能够捕捉序列和上下文细微差别。该方法在推文数据集上相较于基线模型平均F1得分提升26.8分，在一个全新且更嘈杂的数据集上提升达38.6分，证明了其在各类情感类别中均具备优越的泛化能力和鲁棒性。

ABSTRACT

In recent years, emotion detection in text has become more popular due to its vast potential applications in marketing, political science, psychology, human-computer interaction, artificial intelligence, etc. In this work, we argue that current methods which are based on conventional machine learning models cannot grasp the intricacy of emotional language by ignoring the sequential nature of the text, and the context. These methods, therefore, are not sufficient to create an applicable and generalizable emotion detection methodology. Understanding these limitations, we present a new network based on a bidirectional GRU model to show that capturing more meaningful information from text can significantly improve the performance of these models. The results show significant improvement with an average of 26.8 point increase in F-measure on our test data and 38.6 increase on the totally new dataset.

研究动机与目标

• 为解决传统机器学习模型在情感检测中的局限性，这些模型通常忽略文本中的序列和上下文信息。
• 通过聚焦于利用深度循环架构学习更具意义的文本潜在表征，提升情感检测性能。
• 评估捕捉上下文和序列依赖关系是否能增强模型在低资源和嘈杂情感类别中的泛化能力。
• 比较不同预训练词嵌入（ConceptNet Numberbatch与fastText）对情感分类模型性能的影响。
• 验证模型在完全未见过的、众包标注的嘈杂数据集（非标准标签）上的鲁棒性。

提出的方法

• 该模型采用双向门控循环单元（GRU）网络来编码文本中的序列依赖关系，同时保留来自过去和未来标记的上下文信息。
• 应用最大池化层从GRU的隐藏状态中提取最显著的特征，同时使用平均池化层捕捉整体文本表征。
• 模型使用预训练的词嵌入——ConceptNet Numberbatch和fastText——作为输入表征，以增强语义和情感特征。
• 最终的分类头采用全连接层配合Softmax激活函数，用于预测七种类别的离散情感：喜悦、悲伤、愤怒、爱、恐惧、感激和惊讶。
• 该架构通过交叉熵损失进行端到端训练，并基于验证集F1得分实施早停策略，以防止过拟合。
• 模型在两个数据集上进行评估：一个带标签的推文数据集和嘈杂的CrowdFlower数据集，F1得分作为主要评估指标。

实验结果

研究问题

• RQ1 基于双向GRU的模型是否能通过利用序列和上下文信息，在情感检测任务中显著优于传统机器学习方法？
• RQ2 学习更具信息量的潜在表征在高频率和低频情感类别中，对性能提升的幅度有多大？
• RQ3 不同预训练词嵌入（ConceptNet Numberbatch与fastText）对模型性能和鲁棒性的影响如何？
• RQ4 该模型是否能有效泛化到完全未见过的、标签非标准的嘈杂数据集（如CrowdFlower数据集）？
• RQ5 与基线方法相比，所提出的架构是否能降低不同情感类别间性能的方差？

主要发现

• 所提出的双向GRU模型在主数据集上相较于Wang等人基线模型，平均F1得分提升26.8分，提升幅度在10.0分（喜悦）至61.7分（惊讶）之间。
• 在CrowdFlower数据集上，模型相较基线平均F1得分提升38.6分，其中惊讶情感的提升最高，达57分。
• 与基线相比，该模型在不同情感类别间表现出显著更低的性能方差，表明其预测更加稳定且具备更强的泛化能力。
• 使用ConceptNet Numberbatch与fastText嵌入在性能上无显著差异，表明模型对嵌入选择具有鲁棒性。
• 即使在低资源情感（如恐惧和惊讶）上，模型也表现出高性能，表明其能有效学习细微情感线索。
• 该模型在全新且更嘈杂的数据集（非标准标签）上表现出极佳的泛化能力，证实了其鲁棒性和可迁移性。