[论文解读] Are the Multilingual Models Better? Improving Czech Sentiment with Transformers

Pavel Přibáň, Josef Steinberger|arXiv (Cornell University)|Aug 24, 2021

Sentiment Analysis and Opinion Mining参考文献 50被引用 6

一句话总结

本文评估了用于捷克语情感极性检测的单语和多语种Transformer模型，表明像XLM-R-Large这样的大型多语种模型优于较小的单语模型，并取得了最先进（SOTA）的结果。研究进一步表明，从英语到捷克语的零样本跨语言迁移性能仅比微调后的单语模型低4.4%，这是针对捷克语情感分析的首次此类研究。

ABSTRACT

In this paper, we aim at improving Czech sentiment with transformer-based models and their multilingual versions. More concretely, we study the task of polarity detection for the Czech language on three sentiment polarity datasets. We fine-tune and perform experiments with five multilingual and three monolingual models. We compare the monolingual and multilingual models' performance, including comparison with the older approach based on recurrent neural networks. Furthermore, we test the multilingual models and their ability to transfer knowledge from English to Czech (and vice versa) with zero-shot cross-lingual classification. Our experiments show that the huge multilingual models can overcome the performance of the monolingual models. They are also able to detect polarity in another language without any training data, with performance not worse than 4.4 % compared to state-of-the-art monolingual trained models. Moreover, we achieved new state-of-the-art results on all three datasets.

研究动机与目标

• 评估单语和多语种Transformer模型在捷克语情感极性检测任务上的性能。
• 探究多语种模型是否能够跨语言迁移知识，特别是从英语到捷克语以及反之亦然。
• 为未来捷克语情感分析任务的评估建立标准化的数据划分。
• 发布微调后的模型和代码，以支持可复现性和未来研究。
• 利用基于Transformer的模型在三个捷克语情感数据集上实现新的最先进结果。

提出的方法

• 在三个捷克语情感数据集上微调了七个预训练的Transformer模型——其中五个为多语种，三个为单语。
• 采用标准微调流程，并针对每个模型优化超参数，包括将最佳性能的学习率设为2e-6。
• 通过在英语数据上微调模型并在未进一步训练的情况下在捷克语数据上评估，执行零样本跨语言分类。
• 使用准确率和F1分数评估测试集上的性能，并报告置信区间以评估稳定性。
• 基于验证集表现选择模型，并与先前的最先进方法进行比较。
• 发布所有微调后的模型、代码以及标准化的数据划分，以支持可复现性和未来基准测试。

实验结果

研究问题

• RQ1 多语种Transformer模型是否能在捷克语情感极性检测中优于单语模型？
• RQ2 多语种模型在英语与捷克语之间进行零样本跨语言情感分类的性能如何？
• RQ3 模型规模和架构在低资源捷克语情感数据集上的表现有何影响？
• RQ4 标准化的数据划分在提升未来捷克语情感分析研究的可比性和可复现性方面是否有效？
• RQ5 在捷克语文本上，Transformer模型的最佳超参数和微调策略是什么？

主要发现

• XLM-R-Large模型在所有三个捷克语情感数据集上均取得了最先进性能，优于单语模型和较小的多语种模型。
• XLM-R-Large模型在从捷克语到英语的零样本跨语言分类中实现了93.98%的准确率，仅比英语IMDB数据集上当前最先进结果低3.4%。
• 使用XLM-R-Large模型从英语到捷克语的零样本迁移在捷克语CSFD数据集上达到了94.22%的准确率，仅比最佳单语模型在捷克语上微调后的结果低4.4%。
• 尽管参数量较少，单语模型Czert-B表现具有竞争力，适用于低资源场景。
• 较低的学习率（2e-6）在所有模型中均表现出更稳定的收敛和更高的性能。
• 在较小数据集上（如FB数据集，约6000个样本）进行微调显示出更高的方差和更大的过拟合风险，表明在低资源场景下存在不稳定性。