[论文解读] COVID-19-related Nepali Tweets Classification in a Low Resource Setting

Rabin Adhikari, Safal Thapaliya+4 more|arXiv (Cornell University)|Oct 11, 2022

Misinformation and Its Impacts被引用 4

一句话总结

本文提出了一种用于将与COVID-19相关的尼泊尔语推文分类为八个关键主题的低资源NLP流程，采用多语言变压器模型（mBERT和MuRIL）。该研究实现了基于网络的仪表板以可视化趋势，表明在较大数据集上MuRIL的表现优于mBERT，所有数据、模型和工具均已开源，供公众使用。

ABSTRACT

Billions of people across the globe have been using social media platforms in their local languages to voice their opinions about the various topics related to the COVID-19 pandemic. Several organizations, including the World Health Organization, have developed automated social media analysis tools that classify COVID-19-related tweets into various topics. However, these tools that help combat the pandemic are limited to very few languages, making several countries unable to take their benefit. While multi-lingual or low-resource language-specific tools are being developed, they still need to expand their coverage, such as for the Nepali language. In this paper, we identify the eight most common COVID-19 discussion topics among the Twitter community using the Nepali language, set up an online platform to automatically gather Nepali tweets containing the COVID-19-related keywords, classify the tweets into the eight topics, and visualize the results across the period in a web-based dashboard. We compare the performance of two state-of-the-art multi-lingual language models for Nepali tweet classification, one generic (mBERT) and the other Nepali language family-specific model (MuRIL). Our results show that the models' relative performance depends on the data size, with MuRIL doing better for a larger dataset. The annotated data, models, and the web-based dashboard are open-sourced at https://github.com/naamiinepal/covid-tweet-classification.

研究动机与目标

• 识别尼泊尔语推文中与COVID-19相关的八个最常见讨论主题。
• 开发一个自动化流程，用于在疫情期间收集、分类和可视化尼泊尔语社交媒体内容。
• 评估多语言模型和尼泊尔语优化语言模型（mBERT和MuRIL）在低资源尼泊尔语文本分类中的性能。
• 创建并发布一个公开可访问的基于网络的仪表板，用于实时监控公众情绪和主题趋势。

提出的方法

• 构建了一个基于关键词的网络爬虫，从Twitter中收集包含与COVID-19相关术语的尼泊尔语推文。
• 根据主题内容，将尼泊尔语推文数据集标注为八个预定义主题。
• 使用标注数据集对两种多语言变压器模型——mBERT和MuRIL——进行微调，以实现文本分类。
• 实现了一个基于网络的仪表板，用于可视化分类推文的主题分布和时间趋势。
• 使用标准分类指标比较模型性能，并分析数据集大小对模型准确率的影响。
• 将标注数据集、训练模型和仪表板代码开源，供研究社区重用和扩展。

实验结果

研究问题

• RQ1 与COVID-19相关的尼泊尔语推文中，八个最普遍的讨论主题是什么？
• RQ2 像mBERT这样的多语言模型与像MuRIL这样的语言特定模型在低资源尼泊尔语文本分类中的表现如何？
• RQ3 数据集大小是否显著影响mBERT与MuRIL在尼泊尔语推文分类中的相对性能？
• RQ4 自动化流程能否有效实现对低资源语言社交媒体中公众情绪的实时收集、分类和可视化？
• RQ5 开源工具在低资源语言环境下的公共卫生监测中能发挥多大程度的支持作用？

主要发现

• 尼泊尔语COVID-19推文中最常见的八个主题被确定为：症状、疫苗、错误信息、政府政策、心理健康、经济影响、检测和旅行限制。
• 当在更大的标注数据集上进行微调时，MuRIL在尼泊尔语推文分类任务中表现优于mBERT。
• 随着数据集变小，mBERT与MuRIL之间的性能差距缩小，表明MuRIL的优势在训练数据充足时更为显著。
• 基于网络的仪表板成功可视化了公众话语的时间趋势，实现了对主题普遍性的实时监控。
• 整个流程——包括数据、模型和仪表板——均已作为开源项目发布，支持可复现性以及在低资源NLP领域的未来扩展。