[论文解读] Analysing The Impact Of Linguistic Features On Cross-Lingual Transfer

Blazej Dolicki, Gerasimos Spanakis|arXiv (Cornell University)|May 12, 2021

Natural Language Processing Techniques参考文献 21被引用 11

一句话总结

本文研究了细粒度语言特征如何影响多语言NLP模型中的跨语言迁移性能，使用XLM-R和XTREME基准数据集覆盖30种语言。研究发现，特定句法特征——尤其是词序——在预测迁移质量方面比聚合句法距离的预测效果好2–4倍，且最优源语言在不同下游任务间存在显著差异，从而否定了存在一种通用最优源语言的观点。

ABSTRACT

There is an increasing amount of evidence that in cases with little or no data in a target language, training on a different language can yield surprisingly good results. However, currently there are no established guidelines for choosing the training (source) language. In attempt to solve this issue we thoroughly analyze a state-of-the-art multilingual model and try to determine what impacts good transfer between languages. As opposed to the majority of multilingual NLP literature, we don't only train on English, but on a group of almost 30 languages. We show that looking at particular syntactic features is 2-4 times more helpful in predicting the performance than an aggregated syntactic similarity. We find out that the importance of syntactic features strongly differs depending on the downstream task - no single feature is a good performance predictor for all NLP tasks. As a result, one should not expect that for a target language $L_1$ there is a single language $L_2$ that is the best choice for any NLP task (for instance, for Bulgarian, the best source language is French on POS tagging, Russian on NER and Thai on NLI). We discuss the most important linguistic features affecting the transfer quality using statistical and machine learning methods.

研究动机与目标

• 识别哪些语言特征最能预测多语言NLP模型中零样本跨语言迁移的成功。
• 挑战在低资源设置下单一源语言对所有任务均最优的假设。
• 评估细粒度语言特征是否在预测迁移性能方面优于聚合句法距离。
• 提供一种基于语言相似性而非直觉的源语言选择实证框架。
• 扩展XTREME基准以支持非英语语言的训练，并发布结果以供更广泛社区使用。

提出的方法

• 使用扩展的XTREME基准在30种语言上训练XLM-R base模型，实现非英语语言的训练。
• 从WALS数据库中提取了97种语言特征，涵盖词法、词序、动词范畴和名词句法。
• 使用统计和机器学习模型（如随机森林、XGBoost）预测在词性标注、命名实体识别和XNLI任务上的零样本性能。
• 使用lang2vec计算句法距离，将细粒度特征与聚合距离度量进行比较。
• 针对每项任务进行特征重要性分析，以识别最具预测力的语言特征。
• 使用RMSE评估模型性能，并对语言特征组进行消融研究。

实验结果

研究问题

• RQ1 与语言之间的聚合句法距离相比，细粒度语言特征的引入是否能提升语言迁移的预测能力？
• RQ2 哪些语言特征对词性标注、命名实体识别和XNLI任务的‘可迁移性’和性能影响最大？
• RQ3 能否识别出对多种任务均具决定性作用的一般性语言特征，还是特征重要性具有任务特异性？
• RQ4 不同语言特征组（如词序、动词范畴）如何在各类任务中共同影响迁移性能？

主要发现

• 与聚合句法距离相比，细粒度语言特征使零样本迁移预测能力提升2–4倍，使用词序特征时词性标注的RMSE为0.0401。
• 词序是词性标注和命名实体识别中最具预测力的特征组，分别达到RMSE 0.0401和0.0487，证实其在句法迁移中的关键作用。
• 在XNLI任务中，动词范畴是最重要的特征组（RMSE 0.00772），表明不同语言维度在任务间具有主导性差异。
• 没有单一语言特征在所有任务中均具有普遍预测力——例如，法语在保加利亚语词性标注中表现最佳，俄语在命名实体识别中表现最佳，而泰语在XNLI任务中表现最佳。
• 最佳迁移性能的源语言在不同任务间存在显著差异：对保加利亚语而言，法语、俄语和泰语分别是词性标注、命名实体识别和XNLI任务的最优源语言。
• 本研究证实，不存在一种通用最优源语言；可迁移性高度依赖于任务，且由特定的语言对齐驱动。