[论文解读] Monolingual and Cross-Lingual Acceptability Judgments with the Italian CoLA corpus

Daniela Trotta, Raffaele Guarasci+2 more|arXiv (Cornell University)|Sep 24, 2021

Natural Language Processing Techniques参考文献 53被引用 27

一句话总结

本文介绍了 ItaCoLA，这是一个包含 10,000 个句子的新型意大利语语料库，附带二元可接受性判断及九种语言现象的附加标注，其构建方法与英语 CoLA 一致。结果表明，单语 BERT 模型在可接受性分类任务中优于多语种 XLM-RoBERTa 模型，尽管性能较低，跨语言微调仍显示出潜力。

ABSTRACT

The development of automated approaches to linguistic acceptability has been greatly fostered by the availability of the English CoLA corpus, which has also been included in the widely used GLUE benchmark. However, this kind of research for languages other than English, as well as the analysis of cross-lingual approaches, has been hindered by the lack of resources with a comparable size in other languages. We have therefore developed the ItaCoLA corpus, containing almost 10,000 sentences with acceptability judgments, which has been created following the same approach and the same steps as the English one. In this paper we describe the corpus creation, we detail its content, and we present the first experiments on this new resource. We compare in-domain and out-of-domain classification, and perform a specific evaluation of nine linguistic phenomena. We also present the first cross-lingual experiments, aimed at assessing whether multilingual transformerbased approaches can benefit from using sentences in two languages during fine-tuning.

研究动机与目标

• 解决意大利语及其他非英语语言缺乏大规模、高质量可接受性判断资源的问题。
• 创建一个标准化、方法一致的意大利语可接受性语料库，与英语 CoLA 保持一致。
• 使用基于 BERT 和多语种 XLM-RoBERTa 模型评估单语和跨语言分类性能。
• 实现对可接受性判断中特定语言现象的细粒度分析。

提出的方法

• ItaCoLA 语料库通过从现有语言学文献中提取 10,000 个句子构建，可接受性判断由语言学专家分配。
• 30% 的句子子集被人工标注了九种语言现象，包括 wh-岛屿、助动词违规和系动词结构。
• 单语分类通过在 ItaCoLA 训练集上微调的基于 BERT 的分类器完成。
• 跨语言实验使用 XLM-RoBERTa-base 模型，联合在英语 CoLA 和意大利语 ItaCoLA 训练数据上进行微调。
• 使用 Matthews 相关系数（MCC）评估模型性能，测试集包括领域内和领域外数据。
• 实验比较了单语和跨语言设置，包括零样本跨语言推理。

实验结果

研究问题

• RQ1 能否使用与英语 CoLA 相同的方法创建一个大规模、专家标注的意大利语可接受性语料库？
• RQ2 在 ItaCoLA 上，基于 BERT 的单语分类性能与英语 CoLA 上的结果相比如何？
• RQ3 多语模型（如 XLM-RoBERTa）在联合微调英语和意大利语可接受性数据时，能获得多大程度的收益？
• RQ4 句子复杂性——特别是同一句子中包含多个语言现象——如何影响分类性能？
• RQ5 从英语到意大利语的跨语言迁移学习能否在可接受性分类任务中取得具有竞争力的结果？

主要发现

• ItaCoLA 语料库在领域内测试集上达到 Matthews 相关系数（MCC）0.517，与 BERT 在英语 CoLA 上报告的 0.582 MCC 相当。
• 在 ItaCoLA 上，单语 BERT 模型的表现优于多语种 XLM-RoBERTa 模型，后者在意大利语测试集上仅达到 0.440 的 MCC。
• 使用 XLM-RoBERTa 进行的跨语言零样本推理表现较差，英语和意大利语测试集的 MCC 均仅为 0.114。
• 当句子包含多个标注现象时，性能显著下降：MCC 从单一生理现象的 0.363 ± 0.021 下降到多个现象的 0.308 ± 0.041。
• 在特定现象中，Wh-岛屿和助动词违规的性能最佳，而系动词结构和简单句的性能较低。
• 仅在意大利语子集上进行微调可获得 0.440 的 MCC，优于零样本跨语言推理，但仍逊于在英语上微调的单语 BERT 模型。