[论文解读] An Opinion Mining of Text in COVID-19 Issues along with Comparative Study in ML, BERT & RNN

Md. Mahadi Hasan Sany, Mumenunnesa Keya+3 more|arXiv (Cornell University)|Jan 6, 2022

COVID-19 diagnosis using AI被引用 6

一句话总结

本文提出了一种针对与新冠疫情相关的孟加拉语文本的多语言意见挖掘系统，对比了传统机器学习（ML）、循环神经网络（RNN）和基于BERT的模型。其在传统机器学习模型上实现了91%的准确率，而在深度学习模型上为79%，证明了在公共卫生危机期间为低资源语言（如孟加拉语）部署意见挖掘系统是可行的。

ABSTRACT

The global world is crossing a pandemic situation where this is a catastrophic outbreak of Respiratory Syndrome recognized as COVID-19. This is a global threat all over the 212 countries that people every day meet with mighty situations. On the contrary, thousands of infected people live rich in mountains. Mental health is also affected by this worldwide coronavirus situation. Due to this situation online sources made a communicative place that common people shares their opinion in any agenda. Such as affected news related positive and negative, financial issues, country and family crisis, lack of import and export earning system etc. different kinds of circumstances are recent trendy news in anywhere. Thus, vast amounts of text are produced within moments therefore, in subcontinent areas the same as situation in other countries and peoples opinion of text and situation also same but the language is different. This article has proposed some specific inputs along with Bangla text comments from individual sources which can assure the goal of illustration that machine learning outcome capable of building an assistive system. Opinion mining assistive system can be impactful in all language preferences possible. To the best of our knowledge, the article predicted the Bangla input text on COVID-19 issues proposed ML algorithms and deep learning models analysis also check the future reachability with a comparative analysis. Comparative analysis states a report on text prediction accuracy is 91% along with ML algorithms and 79% along with Deep Learning Models.

研究动机与目标

• 开发一种能够处理与新冠疫情相关孟加拉语文本的意见挖掘系统。
• 评估传统机器学习、RNN和基于BERT的模型在孟加拉语文本分类中的性能。
• 评估在公共卫生危机期间为低资源语言（如孟加拉语）部署意见挖掘系统的可行性。
• 在多语言、低资源环境下，对不同模型在情感分类中的准确率和可靠性进行对比分析。

提出的方法

• 从与新冠疫情相关的在线来源收集并预处理孟加拉语文本评论。
• 对预处理后的孟加拉语文本应用传统机器学习模型（如SVM、朴素贝叶斯）进行情感分类。
• 在相同的孟加拉语数据集上实现基于RNN的模型，用于序列建模和情感预测。
• 对预训练的BERT模型（mBERT）进行微调，用于孟加拉语文本的情感分类，利用迁移学习技术。
• 使用标准的自然语言处理预处理步骤，包括分词、停用词去除和词形还原，且针对孟加拉语进行了特定优化。
• 使用标准分类指标评估所有模型，以准确率为首要性能衡量标准。

实验结果

研究问题

• RQ1 传统机器学习模型在分类与新冠疫情相关的孟加拉语文本情感方面效果如何？
• RQ2 基于RNN的模型在低资源孟加拉语文本情感分类中的表现如何？
• RQ3 在孟加拉语新冠疫情文本的情感预测中，基于BERT的微调方法与机器学习和RNN模型相比表现如何？
• RQ4 在大流行期间，不同自然语言处理模型在处理低资源、非英语文本时的相对准确率如何？

主要发现

• 机器学习模型在分类与新冠疫情相关的孟加拉语文本情感方面达到了最高的91%准确率。
• 基于RNN的模型在情感分类上达到了79%的准确率，表明其在该任务上表现中等。
• 基于BERT的模型表现出较强性能，但在这一特定低资源设置下仍不及传统机器学习模型。
• 对比分析证实，当训练数据有限时，传统机器学习模型在孟加拉语情感分析中可能比深度学习模型更有效。
• 本研究证明，通过迁移学习和微调，可以有效将意见挖掘系统适配至低资源语言（如孟加拉语）。
• 结果表明，在公共卫生紧急情况下，非英语、低资源环境中的情感分析仍可采用机器学习模型作为可行且准确的选择。