[论文解读] Czech Dataset for Cross-lingual Subjectivity Classification

Pavel Přibáň, Josef Steinberger|arXiv (Cornell University)|Apr 29, 2022

Topic Modeling被引用 4

一句话总结

本文介绍了首个手动标注的捷克语主观性数据集，包含来自影评和描述的10,000个句子，标注者间一致性Cohen's kappa系数为0.83。该数据集支持使用多语言BERT模型在捷克语与英语之间进行零样本跨语言迁移评估，捷克语数据集上准确率达到93.56%，并展现出强大的跨语言迁移能力，尤其是XLM-R-Large模型，在两种语言上的表现均优于单语模型。

ABSTRACT

In this paper, we introduce a new Czech subjectivity dataset of 10k manually annotated subjective and objective sentences from movie reviews and descriptions. Our prime motivation is to provide a reliable dataset that can be used with the existing English dataset as a benchmark to test the ability of pre-trained multilingual models to transfer knowledge between Czech and English and vice versa. Two annotators annotated the dataset reaching 0.83 of the Cohen's \k{appa} inter-annotator agreement. To the best of our knowledge, this is the first subjectivity dataset for the Czech language. We also created an additional dataset that consists of 200k automatically labeled sentences. Both datasets are freely available for research purposes. Furthermore, we fine-tune five pre-trained BERT-like models to set a monolingual baseline for the new dataset and we achieve 93.56% of accuracy. We fine-tune models on the existing English dataset for which we obtained results that are on par with the current state-of-the-art results. Finally, we perform zero-shot cross-lingual subjectivity classification between Czech and English to verify the usability of our dataset as the cross-lingual benchmark. We compare and discuss the cross-lingual and monolingual results and the ability of multilingual models to transfer knowledge between languages.

研究动机与目标

• 为解决自然语言处理中缺乏用于跨语言评估的捷克语主观性数据集的问题。
• 支持在英语与捷克语之间进行知识迁移的多语言预训练模型的基准测试。
• 为低资源语言的主观性分类提供可靠的语言内与跨语言基准。
• 发布高质量、免费可获取的数据集与代码，以支持可复现的研究。

提出的方法

• 由两名标注者对来自影评和描述的10,000个句子进行人工标注，并通过Cohen's kappa系数衡量标注者间一致性。
• 利用远程监督方法构建第二个更大规模的数据集，包含200,000个句子，基于假设：影评大多为主观，描述大多为客观。
• 在捷克语数据集上微调五种BERT类模型（mBERT、XLM-R-Large及三种单语变体），以建立语言内基线。
• 通过仅在英语数据上微调并在捷克语上测试，以及反向操作，进行零样本跨语言评估，以评估知识迁移能力。
• 在英语和捷克语数据上联合微调，以评估多语言学习效率。
• 使用开发集和测试集上的准确率与置信区间进行评估，模型选择基于开发集表现。

实验结果

研究问题

• RQ1 新创建的捷克语主观性数据集能否作为跨语言迁移学习的可靠基准？
• RQ2 mBERT和XLM-R-Large等多语言模型在主观性分类任务中，于英语与捷克语之间的知识迁移能力如何？
• RQ3 在新捷克语数据集上，单语微调与零样本跨语言微调之间的性能差距有多大？
• RQ4 在英语和捷克语数据上联合训练是否优于单语微调？
• RQ5 人工标注数据的质量与大规模自动标注数据在跨语言迁移中的表现相比如何？

主要发现

• 捷克语主观性数据集的Cohen's kappa系数达到0.83，表明标注者间一致性较高，数据质量良好。
• XLM-R-Large模型在捷克语数据集上达到93.56%的准确率，确立了较强的单语基线。
• 当仅在英语数据上微调时，XLM-R-Large在捷克语测试集上达到94.4%的准确率，仅比在捷克语上微调的单语模型低2.8%。
• 在捷克语数据上微调的模型在英语测试集上达到92.8%的准确率，比当前英语上的最先进水平低4.4%。
• 在两种语言上联合微调并未提升性能，表明在此设置下联合学习无显著优势。