[论文解读] Sentiment and Emotion Classification of Epidemic Related Bilingual data from Social Media

Muhammad Zain Ali, Kashif Javed+2 more|arXiv (Cornell University)|May 4, 2021

Sentiment Analysis and Opinion Mining被引用 6

一句话总结

本研究提出了一种双语（乌尔都语和英语）情感与情绪分类框架，利用来自巴基斯坦推特和新闻网站的社交媒体数据，以检测登革热疫情的早期信号。该框架采用机器学习与深度学习模型，特别是带有注意力机制的双向LSTM，英语情感分类准确率达到84.4%，乌尔都语分类准确率达到78.4%，优于传统模型，且多分类分类器在召回率方面优于一对多方法。

ABSTRACT

In recent years, sentiment analysis and emotion classification are two of the most abundantly used techniques in the field of Natural Language Processing (NLP). Although sentiment analysis and emotion classification are used commonly in applications such as analyzing customer reviews, the popularity of candidates contesting in elections, and comments about various sporting events; however, in this study, we have examined their application for epidemic outbreak detection. Early outbreak detection is the key to deal with epidemics effectively, however, the traditional ways of outbreak detection are time-consuming which inhibits prompt response from the respective departments. Social media platforms such as Twitter, Facebook, Instagram, etc. allow the users to express their thoughts related to different aspects of life, and therefore, serve as a substantial source of information in such situations. The proposed study exploits the bilingual (Urdu and English) data from Twitter and NEWS websites related to the dengue epidemic in Pakistan, and sentiment analysis and emotion classification are performed to acquire deep insights from the data set for gaining a fair idea related to an epidemic outbreak. Machine learning and deep learning algorithms have been used to train and implement the models for the execution of both tasks. The comparative performance of each model has been evaluated using accuracy, precision, recall, and f1-measure.

研究动机与目标

• 开发一种针对双语（乌尔都语和英语）流行病相关社交媒体数据的情感与情绪分类系统，以支持疫情早期预警。
• 评估机器学习与深度学习模型在分类巴基斯坦登革热疫情期间公众情感与情绪方面的性能。
• 比较一对多与多分类分类策略在情感与情绪分类任务中的有效性。
• 探索利用社交媒体数据作为疾病疫情监测实时监测工具的可行性。

提出的方法

• 在巴基斯坦登革热疫情期间，从推特和新闻网站收集了双语（乌尔都语和英语）流行病相关数据。
• 使用NLTK词典库的动态截断分数分配情感标签，并进行基于内容的情绪标注。
• 采用适用于低资源语言（如乌尔都语）的标准自然语言处理技术对文本进行预处理。
• 训练并评估多种模型：多项式朴素贝叶斯、线性SVM、1D-CNN、LSTM、双向LSTM以及带有注意力机制的LSTM。
• 使用加权精确率与召回率指标，比较一对多与多分类分类策略。
• 通过准确率、精确率、召回率与F1值指标，在两种语言中评估模型性能。

实验结果

研究问题

• RQ1 机器学习与深度学习模型在分类双语（乌尔都语和英语）流行病相关社交媒体数据中的情感与情绪方面有多高效？
• RQ2 一对多分类策略与多分类策略在情感与情绪分类任务中的性能表现有何差异？
• RQ3 为何在此背景下深度学习模型优于传统机器学习模型？
• RQ4 数据不平衡与类别分布如何影响模型性能，尤其是在具有更多类别的情绪分类中？

主要发现

• 深度学习模型，特别是带有注意力机制的双向LSTM，在英语情感分类中达到最高准确率84.4%，在乌尔都语情感分类中达到78.4%。
• 深度学习模型的性能始终优于机器学习模型，其中多项式朴素贝叶斯在正向情感的召回率方面表现最弱。
• 多分类分类优于一对多分类，具有更高的加权召回率（意味着对实际正样本的检测能力更强），而一对多分类则表现出更高的加权精确率。
• 情绪分类模型的性能劣于情感分类模型，原因是在剔除中性样本后数据密度降低，导致模型欠拟合。
• 带有注意力机制的双向LSTM在情感分类中优于标准双向LSTM，但在情绪分类中表现较差，表明模型行为具有任务特异性。