[论文解读] Findings of the Sentiment Analysis of Dravidian Languages in Code-Mixed Text

Bharathi Raja Chakravarthi, Ruba Priyadharshini+9 more|arXiv (Cornell University)|Nov 18, 2021

Natural Language Processing Techniques参考文献 11被引用 9

一句话总结

本论文介绍了在代码混用的德拉威语——泰米尔语、马拉雅拉姆语和卡纳达语——上进行情感分析共享任务的研究成果，采用多语言及微调后的变换器模型。最佳系统在泰米尔语-英语、马拉雅拉姆语-英语和卡纳达语-英语上的加权F1分数分别达到0.711、0.804和0.630，显示出XLM-RoBERTa和上下文嵌入的强大性能；然而，由于领域特定的优化，传统模型在卡纳达语-英语任务中表现优于变换器模型。

ABSTRACT

We present the results of the Dravidian-CodeMix shared task held at FIRE 2021, a track on sentiment analysis for Dravidian Languages in Code-Mixed Text. We describe the task, its organization, and the submitted systems. This shared task is the continuation of last year's Dravidian-CodeMix shared task held at FIRE 2020. This year's tasks included code-mixing at the intra-token and inter-token levels. Additionally, apart from Tamil and Malayalam, Kannada was also introduced. We received 22 systems for Tamil-English, 15 systems for Malayalam-English, and 15 for Kannada-English. The top system for Tamil-English, Malayalam-English and Kannada-English scored weighted average F1-score of 0.711, 0.804, and 0.630, respectively. In summary, the quality and quantity of the submission show that there is great interest in Dravidian languages in code-mixed setting and state of the art in this domain still needs more improvement.

研究动机与目标

• 评估并推进在社交媒体文本中对代码混用的德拉威语（泰米尔语、马拉雅拉姆语和卡纳达语）进行情感分析。
• 评估多语言变换器模型与传统自然语言处理技术在低资源、代码混用语言环境下的有效性。
• 通过在FIRE 2021上举办共享任务，激发研究兴趣并建立德拉威语自然语言处理的基准性能。
• 为未来研究提供标注过的、多语言的、代码混用的泰米尔语-英语、马拉雅拉姆语-英语和卡纳达语-英语数据集。
• 识别在低资源德拉威语变体中具有良好泛化能力的模型架构与微调策略。

提出的方法

• 共享任务使用了来自社交媒体的YouTube评论人工标注数据，涵盖泰米尔语、马拉雅拉姆语和卡纳达语与英语之间的词内和词间代码混用。
• 参赛者在代码混用数据集上对多语言预训练模型（如XLM-RoBERTa、BERT和DistilBERT）进行微调，尽管这些模型未在类似数据上进行预训练。
• 最佳系统在微调后的变换器架构上使用上下文词嵌入和注意力机制，以建模情感极性。
• 部分团队使用了传统机器学习模型（如逻辑回归、SVM与TF-IDF）和RNN（如LSTM、ULMFiT），但性能低于变换器模型。
• 评估基于加权F1分数，结果按三个语言对（泰米尔语-英语、马拉雅拉姆语-英语和卡纳达语-英语）进行排名。
• 该任务基于先前的Dravidian-CodeMix 2020共享任务，扩展至包含卡纳达语和更复杂的代码混用模式。

实验结果

研究问题

• RQ1 多语言变换器模型（如XLM-RoBERTa）在代码混用德拉威语情感分析中的有效性如何？
• RQ2 在代码混用德拉威语-英语文本上微调预训练模型能带来多大的性能提升？
• RQ3 为何在卡纳达语-英语基准中，传统模型（如TF-IDF与SVM）的表现优于变换器模型？
• RQ4 代码混用程度（词内 vs. 词间）如何影响情感分类性能？
• RQ5 在低资源德拉威语代码混用环境下，当前情感分析的最先进水平如何？

主要发现

• 泰米尔语-英语任务中表现最佳的系统加权F1得分为0.711，CIA_NITT [29] 获得第一名。
• 在马拉雅拉姆语-英语任务中，最佳系统F1得分为0.804，由ZYBank-AI [21] 领先，表明该语言对中模型泛化能力出色。
• 在卡纳达语-英语任务中，最佳系统F1得分为0.630，SSNCSE_NLP [33] 通过TF-IDF与逻辑回归优于基于变换器的模型。
• 尽管变换器模型占主导地位，但SVM和逻辑回归等传统模型结合TF-IDF在卡纳达语中取得了最先进结果，表明领域特定优化至关重要。
• 各语言前三名系统均使用了上下文嵌入和微调后的多语言模型，XLM-RoBERTa在所有语言中均表现出色。
• 结果表明德拉威语自然语言处理领域兴趣日益增长，泰米尔语、马拉雅拉姆语和卡纳达语的参赛数量分别为22、15和15项，显示出持续的社区参与。