[论文解读] A Closer Look at Few-Shot Crosslingual Transfer: Variance, Benchmarks and Baselines.

Mengjie Zhao, Yi Zhu+4 more|arXiv (Cornell University)|Dec 31, 2020

Natural Language Processing Techniques被引用 5

一句话总结

本文研究少样本跨语言迁移，其中多语言模型在高资源语言上预训练后，再在低资源语言的少量标注样本上进行微调。研究发现不同少样本设置间的性能差异极大，主张采用多样本评估，并发现大模型会迅速依赖词汇线索而过拟合，且先进方法相比标准微调并无显著优势。

ABSTRACT

We present a focused study of few-shot crosslingual transfer, a recently proposed NLP scenario: a pretrained multilingual encoder is first finetuned on many annotations in a high resource language (typically English), and then finetuned on a few annotations (the ``few shots'') in a target language. Few-shot transfer brings large improvements over zero-shot transfer. However, we show that it inherently has large variance and it is necessary to report results on multiple sets of few shots for stable results and to guarantee fair comparison of different algorithms. To address this problem, we publish our few-shot sets. In a study of why few-shot learning outperforms zero-shot transfer, we show that large models heavily rely on lexical hints when finetuned on a few shots and then overfit quickly. We evaluate different methods that use few-shot annotations, but do not observe significant improvements over the baseline. This calls for better ways of utilizing the few-shot annotations.

研究动机与目标

• 研究自然语言处理中少样本跨语言迁移的稳定性和可靠性。
• 识别不同少样本数据划分下少样本迁移性能差异的来源。
• 评估先进方法在少样本设置下是否优于标准微调。
• 提供公开的少样本标注数据集，以支持公平且可复现的基准测试。
• 理解为何少样本迁移优于零样本迁移，以及这种改进是否具有鲁棒性。

提出的方法

• 本研究使用在高资源语言数据上微调过的多语言编码器，再在目标语言的少量标注样本上进一步微调，以评估少样本跨语言迁移。
• 创建多个随机的少样本数据集并进行评估，以衡量不同数据划分下的性能差异。
• 通过分析注意力模式和特征表示，研究模型行为，检测其对词汇线索的依赖。
• 将标准微调与多种旨在更有效利用少样本标注的先进方法进行比较。
• 公开发布少样本标注数据集，以支持可复现的基准测试。
• 在多个目标语言和任务上评估性能，以确保泛化能力。

实验结果

研究问题

• RQ1 不同少样本数据划分下，少样本跨语言迁移性能的方差有多大？
• RQ2 为何少样本迁移优于零样本迁移？这种改进是否具有鲁棒性？
• RQ3 当在少量样本上微调时，大模型在多大程度上会过拟合于词汇线索？
• RQ4 针对少样本学习的先进方法是否能显著提升性能，超过标准微调？
• RQ5 在缺乏多样本评估的情况下，能否实现少样本方法之间稳定且公平的比较？

主要发现

• 少样本跨语言迁移在不同少样本数据划分间表现出高度方差，因此需要多次评估才能实现可靠的比较。
• 大模型在少样本微调过程中强烈依赖词汇提示，导致在小数据集上迅速过拟合。
• 尽管提出了多种方法，但在少样本设置下，其性能相比标准微调并无显著提升。
• 少样本迁移相比零样本迁移的性能增益在所有数据划分中并不一致，表明存在不稳定性。
• 本研究证实，公平的基准测试需要报告多个少样本数据集的结果，而不仅仅是一个划分。
• 作者公开发布其少样本标注数据集，以支持未来研究中可复现且稳定的评估。