[论文解读] Basic and Depression Specific Emotion Identification in Tweets: Multi-label Classification Experiments

Nawshad Farruque, Chenyang Huang+2 more|arXiv (Cornell University)|May 26, 2021

Text and Document Classification Technologies参考文献 18被引用 5

一句话总结

本文提出了一种多标签分类框架，用于使用代价敏感的RankSVM和带有注意力机制的深度学习模型，识别推文中的基本情绪与抑郁特异性情绪。深度学习模型在类别不平衡数据上表现优于其他模型，通过词嵌入和注意力机制，展现出在检测与抑郁相关的细微情绪状态方面的卓越性能。

ABSTRACT

In this paper, we present empirical analysis on basic and depression specific multi-emotion mining in Tweets with the help of state of the art multi-label classifiers. We choose our basic emotions from a hybrid emotion model consisting of the common emotions from four highly regarded psychological models of emotions. Moreover, we augment that emotion model with new emotion categories because of their importance in the analysis of depression. Most of those additional emotions have not been used in previous emotion mining research. Our experimental analyses show that a cost sensitive RankSVM algorithm and a Deep Learning model are both robust, measured by both Macro F-measures and Micro F-measures. This suggests that these algorithms are superior in addressing the widely known data imbalance problem in multi-label learning. Moreover, our application of Deep Learning performs the best, giving it an edge in modeling deep semantic features of our extended emotional categories.

研究动机与目标

• 开发一种稳健的社交媒体文本多标签情绪分类系统，特别是针对推文，以支持心理健康监测。
• 通过整合希望破灭、孤独感和自恨等抑郁特异性情绪，扩展传统情绪模型，这些情绪在以往研究中代表性不足。
• 评估最先进多标签学习算法在存在显著类别不平衡的现实情绪挖掘数据集上的表现。
• 比较词袋模型与词嵌入特征在捕捉情绪语言语义细微差别的能力。
• 识别在保持高频与罕见情绪标签高精度的同时，最能应对数据不平衡的模型。

提出的方法

• 本研究构建了两个多标签数据集：一个包含九种基本情绪（如喜悦、愤怒、悲伤），另一个在基础上增加了七种抑郁特异性情绪（如希望破灭、孤独感、幸灾乐祸）。
• 情绪标签基于结合四种主要情绪理论的混合心理模型生成，并根据临床相关性添加额外的抑郁相关情绪。
• 作者采用两种主要模型：基于标签幂集（LP）和成对偏好训练（PPT）的代价敏感RankSVM，以及基于双向LSTM与自注意力机制的深度学习模型。
• 特征表示包括词袋模型（BOW）和词嵌入（WE），后者用于捕捉文本中的语义关系。
• 性能通过Macro-F1和Micro-F1分数进行评估，并引入性能下降指标以量化模型在数据不平衡程度增加时的鲁棒性。
• 通过分析混淆矩阵，评估标签相关性及误分类模式，特别是共同出现的情绪如喜悦/爱或沮丧/希望破灭之间的关系。

实验结果

研究问题

• RQ1 在识别推文中基本情绪与抑郁特异性情绪时，最先进多标签分类模型的表现如何？
• RQ2 代价敏感RankSVM与深度学习模型在多标签情绪分类中，多大程度上缓解了数据不平衡的影响？
• RQ3 与词袋模型相比，词嵌入在捕捉短文本社交媒体内容中微妙情绪差异方面表现如何？
• RQ4 哪些情绪类别最常被混淆？这些混淆背后的语言模式是什么？
• RQ5 深度学习模型中的注意力机制是否有助于识别与抑郁相关情绪相关的显著语言特征？

主要发现

• 基于注意力机制的LSTM模型在16种情绪数据集上取得了最高的Macro-F1分数0.4685和Micro-F1分数0.4832，优于所有其他模型。
• 当从9种情绪数据集转移到16种情绪数据集时，深度学习模型的Macro-F1性能仅下降15%，Micro-F1下降11%，表明其对数据不平衡具有极强的鲁棒性。
• 使用标签幂集（LP）的RankSVM在9种情绪数据集上取得了Macro-F1 0.4234和Micro-F1 0.4236的优异表现，尽管存在类别不平衡。
• 朴素贝叶斯基线模型在转向更不平衡的16种情绪数据集时，Macro-F1下降38%，Micro-F1下降41%，性能下降幅度最大。
• 混淆矩阵显示，喜悦/爱和沮丧/希望破灭等情绪常被相互误分类，表明这些情绪间存在强烈的共现模式。
• 词嵌入在所有模型中均持续提升性能，尤其在深度学习模型中提升最大，证实其优于稀疏的词袋模型表示。