[论文解读] Are pre-trained text representations useful for multilingual and multi-dimensional language proficiency modeling?

Taraka Rama, Sowmya Vajjala|arXiv (Cornell University)|Feb 25, 2021

Natural Language Processing Techniques被引用 5

一句话总结

本文研究了多语言预训练嵌入（特别是 mBERT）在德语、意大利语和捷克语中的多维多语言语言能力评估中的有效性。微调后的 mBERT 在多语言设置中提升了性能，但没有单一特征在所有维度上始终优于其他特征；UPOS n-gram 成为零样本跨语言迁移的强大且稳健的基线。

ABSTRACT

Development of language proficiency models for non-native learners has been an active area of interest in NLP research for the past few years. Although language proficiency is multidimensional in nature, existing research typically considers a single "overall proficiency" while building models. Further, existing approaches also considers only one language at a time. This paper describes our experiments and observations about the role of pre-trained and fine-tuned multilingual embeddings in performing multi-dimensional, multilingual language proficiency classification. We report experiments with three languages -- German, Italian, and Czech -- and model seven dimensions of proficiency ranging from vocabulary control to sociolinguistic appropriateness. Our results indicate that while fine-tuned embeddings are useful for multilingual proficiency modeling, none of the features achieve consistently best performance for all dimensions of language proficiency. All code, data and related supplementary material can be found at: https://github.com/nishkalavallabhi/MultidimCEFRScoring.

研究动机与目标

• 探索类似 mBERT 的多语言预训练嵌入是否适用于非英语语言中多种语言能力维度的建模。
• 评估使用预训练表示进行零样本跨语言迁移在语言能力分类中的可行性。
• 比较不同特征类型（UPOS n-gram、嵌入和基础特征）在多种语言能力和维度上的表现。
• 评估微调多语言模型是否能提升低资源语言在多语言设置下的性能。
• 确定是否可以使用跨语言共享表示构建通用的多语言能力模型。

提出的方法

• 构建了一个多语言语料库，包含来自德语、意大利语和捷克语学习者的 CEFR 对齐写作样本，并针对七个语言能力维度进行标注。
• 提取了包括 UPOS n-gram、基于 BERT 的上下文嵌入（mBERT）和基础特征（如文档长度）在内的语言学特征。
• 使用逻辑回归和 XGBoost 为每个语言能力维度分别训练多分类分类模型。
• 在德语文本语料上微调 mBERT，并在意大利语和捷克语测试集上评估其零样本性能。
• 通过宏 F1 和准确率指标，比较不同语言和维度上的模型性能。
• 通过手动检查混淆矩阵进行错误分析，以理解不同维度和语言间性能差异的原因。

实验结果

研究问题

• RQ1 类似 mBERT 的多语言预训练嵌入是否可以有效用于非英语语言中的多维语言能力分类？
• RQ2 与使用冻结嵌入相比，微调 mBERT 是否能提升多语言能力建模的性能？
• RQ3 是否可以使用预训练嵌入实现语言能力分类的零样本跨语言迁移？
• RQ4 UPOS n-gram 是否可作为零样本跨语言能力评分的强而语言无关的基线？
• RQ5 是否存在一种特征类型在所有语言能力和维度上均表现最佳？

主要发现

• 在单语设置中，UPOS n-gram 在所有语言和维度上均持续优于其他特征，紧随其后的是微调后的 mBERT。
• 微调后的 mBERT 显著提升了低单语得分语言的性能，证明其在多语言建模中的价值。
• 使用 mBERT 嵌入进行零样本跨语言迁移效果不佳，而 UPOS n-gram 在零样本场景中表现更稳健。
• 没有单一特征组在所有维度、语言或分类设置中均表现最优。
• 即使使用基线特征，捷克语的连贯性/衔接维度仍达到最高性能，表明此类语言线索可能更容易捕捉。
• 混淆矩阵显示了预期趋势——相近水平（如 A2/B1）比相距较远的水平更难区分，表明模型行为与先前研究结果一致。