[论文解读] Emotion Detection From Social Media Posts

Md Mahbubur Rahman, Shaila Shova|arXiv (Cornell University)|Feb 11, 2023

Sentiment Analysis and Opinion Mining被引用 4

一句话总结

本研究提出了一种结合BiGRU与BiLSTM的混合深度学习模型，用于将社交媒体文本中的情绪分类为四种类别：恐惧、愤怒、喜悦和悲伤。基于预处理后的7,102个样本的Twitter数据集，集成模型达到了87.66%的准确率，优于传统机器学习模型，并展现出较强的泛化能力与最小的过拟合现象。

ABSTRACT

Over the last few years, social media has evolved into a medium for expressing personal views, emotions, and even business and political proposals, recommendations, and advertisements. We address the topic of identifying emotions from text data obtained from social media posts like Twitter in this research. We have deployed different traditional machine learning techniques such as Support Vector Machines (SVM), Naive Bayes, Decision Trees, and Random Forest, as well as deep neural network models such as LSTM, CNN, GRU, BiLSTM, BiGRU to classify these tweets into four emotion categories (Fear, Anger, Joy, and Sadness). Furthermore, we have constructed a BiLSTM and BiGRU ensemble model. The evaluation result shows that the deep neural network models(BiGRU, to be specific) produce the most promising results compared to traditional machine learning models, with an 87.53 % accuracy rate. The ensemble model performs even better (87.66 %), albeit the difference is not significant. This result will aid in the development of a decision-making tool that visualizes emotional fluctuations.

研究动机与目标

• 开发一种准确的机器学习模型，用于对社交媒体文本中的四种主要情绪——恐惧、愤怒、喜悦和悲伤——进行分类。
• 比较传统机器学习模型（SVM、朴素贝叶斯、决策树、随机森林）与深度神经网络（LSTM、CNN、GRU、BiLSTM、BiGRU）在情绪分类任务中的性能表现。
• 设计并评估一种结合BiGRU与BiLSTM的集成模型，以提升情绪检测的准确率。
• 通过可视化随时间变化的情感趋势，支持心理健康监测与个性化内容推荐。
• 通过模型评估与超参数调优，识别并缓解类别不平衡的影响。

提出的方法

• 从Kaggle平台收集了7,102条英文社交媒体帖子的标注Twitter数据集，分为四种类别：愤怒、恐惧、喜悦与悲伤。
• 执行了广泛的文本预处理，包括转换为小写、去除URL、HTML标签、标点符号、停用词，以及展开缩写与缩略语。
• 应用词形还原与词干提取以减少词汇变体并规范化词形，同时保留表情符号以保留情感上下文。
• 训练并评估了多种模型：传统机器学习模型（SVM、朴素贝叶斯、决策树、随机森林、逻辑回归）与深度学习模型（LSTM、CNN、GRU、BiLSTM、BiGRU）。
• 通过加权平均或投票策略，将BiGRU与BiLSTM的预测结果进行集成，以提升泛化能力。
• 使用交叉验证对每个模型的超参数进行优化，并基于验证准确率选择最佳配置。

实验结果

研究问题

• RQ1 传统机器学习模型与深度神经网络在短文本社交媒体情绪分类任务中的表现如何比较？
• RQ2 在小规模且类别不平衡的数据集上，模型架构（如BiGRU与BiLSTM）对情绪分类性能有何影响？
• RQ3 与单一模型相比，深度学习模型的集成是否能提升泛化能力并减少过拟合？
• RQ4 类别分布的不平衡如何影响不同情绪类别的精确率、召回率与F1值？
• RQ5 表情符号的引入与预处理技术对情绪检测模型性能的影响有多大？

主要发现

• BiGRU模型在单一模型中取得了最高的准确率87.53%，优于所有传统机器学习模型。
• BiGRU与BiLSTM的集成模型实现了最佳的整体准确率87.66%，相较于单一深度学习模型表现出微小但稳定的提升。
• 朴素贝叶斯模型表现较差（准确率约42%），因其假设特征独立，而该假设在序列文本数据中并不成立。
• 最近邻分类器表现不佳，原因在于维度灾难：高维特征向量降低了基于距离的判别能力。
• 悲伤类别F1值最低（0.82），主要由于存在大量误分类——51个恐惧样本与37个愤怒样本被错误分类为悲伤，表明存在类别混淆。
• 微平均与宏平均AUC值均约为0.97，表明尽管存在类别特定限制，整体模型性能依然强劲。