[论文解读] Urdu Speech and Text Based Sentiment Analyzer

Waqar Ahmad, Maryam Edalati|arXiv (Cornell University)|Jul 19, 2022

Sentiment Analysis and Opinion Mining被引用 7

一句话总结

本文提出一个经过人工标注的乌尔都语情感分析数据集，包含10,000条推文，情感标签为正面或负面，并在该数据集上评估了五种基于词典和规则的模型——朴素贝叶斯、TextBlob、VADER、Stanza和Flair。Flair取得了70%的最高准确率，为使用预训练模型的基于翻译的方法在乌尔都语情感分析中建立了强有力的基线。

ABSTRACT

Discovering what other people think has always been a key aspect of our information-gathering strategy. People can now actively utilize information technology to seek out and comprehend the ideas of others, thanks to the increased availability and popularity of opinion-rich resources such as online review sites and personal blogs. Because of its crucial function in understanding people's opinions, sentiment analysis (SA) is a crucial task. Existing research, on the other hand, is primarily focused on the English language, with just a small amount of study devoted to low-resource languages. For sentiment analysis, this work presented a new multi-class Urdu dataset based on user evaluations. The tweeter website was used to get Urdu dataset. Our proposed dataset includes 10,000 reviews that have been carefully classified into two categories by human experts: positive, negative. The primary purpose of this research is to construct a manually annotated dataset for Urdu sentiment analysis and to establish the baseline result. Five different lexicon- and rule-based algorithms including Naivebayes, Stanza, Textblob, Vader, and Flair are employed and the experimental results show that Flair with an accuracy of 70% outperforms other tested algorithms.

研究动机与目标

• 为低资源语言自然语言处理研究创建一个经过人工标注的多类别乌尔都语情感数据集。
• 评估现有基于词典和规则的情感分析模型在乌尔都语文本上的性能。
• 为未来使用基于翻译和预训练模型的乌尔都语情感分析研究建立基线。
• 解决自然语言处理领域中公开可用、高质量乌尔都语情感数据集稀缺的问题。

提出的方法

• 数据集通过使用乌尔都语用户评论从推特上收集，并由人工专家将其手动标注为正面和负面情感类别。
• 使用谷歌翻译API将文本从乌尔都语翻译成英语，以实现与基于英语的情感模型的兼容性。
• 将五种基于词典的模型——朴素贝叶斯、TextBlob、VADER、Stanza和Flair——应用于翻译后的文本进行情感分类。
• Flair使用预训练的英语情感模型（en-sentiment）对翻译后的乌尔都语文本进行情感预测。
• 通过混淆矩阵和10,000个样本测试集的准确率来评估性能。
• 本研究采用流水线方法：如有必要，先进行语音到文本的翻译，然后使用预训练模型进行情感分类。

实验结果

研究问题

• RQ1 在将乌尔都语文本翻译为英语后，现有基于词典和规则的情感分析模型在低资源乌尔都语文本上的有效性如何？
• RQ2 在新创建的乌尔都语情感数据集上，不同情感分析模型之间的性能差距是什么？
• RQ3 Flair是否能在使用翻译和预训练英语模型的情况下，优于其他模型进行乌尔都语文本的情感分类？
• RQ4 使用10,000个样本的人工标注数据集，乌尔都语情感分析可达到的基线准确率是多少？
• RQ5 模型性能差异如何反映自然语言处理中低资源语言处理的挑战？

主要发现

• Flair在人工标注的乌尔都语数据集上取得了70%的最高准确率，优于所有其他测试模型。
• 朴素贝叶斯和TextBlob均取得了59%的准确率，表明其在乌尔都语情感分类任务中表现中等。
• VADER的准确率为45%，表明在使用基于英语词典的规则时，其对乌尔都语文本的适用性有限。
• Stanza表现最差，准确率仅为31%，表明使用英语自然语言处理工具时，其对乌尔都语的泛化能力较差。
• 结果表明，Flair是在所评估的基于词典的方法中对乌尔都语情感分析最鲁棒的模型。
• 本研究证实，基于翻译和预训练模型的方法可为像乌尔都语这样的低资源语言提供可行的结果。