[论文解读] Cascading Adaptors to Leverage English Data to Improve Performance of Question Answering for Low-Resource Languages

Hariom A. Pandya, Bhavik Ardeshna+1 more|arXiv (Cornell University)|Dec 18, 2021

Topic Modeling被引用 5

一句话总结

该论文提出在多语言变换器（XLM-RoBERTa 和 mBERT）上级联语言适配器和任务适配器，通过利用英语数据提升低资源语言的阅读理解性能。通过堆叠用于语言适应的语言适配器和用于 QA 特定微调的任务适配器，该方法在零 shot 跨语言迁移中显著提升了性能，尤其在印地语和越南语等低资源语言上，F1 分数相比基线模型最高提升了 15.2%。

ABSTRACT

Transformer based architectures have shown notable results on many down streaming tasks including question answering. The availability of data, on the other hand, impedes obtaining legitimate performance for low-resource languages. In this paper, we investigate the applicability of pre-trained multilingual models to improve the performance of question answering in low-resource languages. We tested four combinations of language and task adapters using multilingual transformer architectures on seven languages similar to MLQA dataset. Additionally, we have also proposed zero-shot transfer learning of low-resource question answering using language and task adapters. We observed that stacking the language and the task adapters improves the multilingual transformer models' performance significantly for low-resource languages.

研究动机与目标

• 解决由于标注数据有限导致的低资源语言阅读理解性能差距。
• 探究级联语言适配器和任务适配器是否能提升多语言变换器模型中的跨语言迁移能力。
• 评估在阿拉伯语、中文和越南语等多样化语言中，使用预训练适配器进行零样本迁移的有效性。
• 对比不同适配器架构（Houlsby 与 Pfeiffer）及适配器堆叠策略，以识别最优配置。
• 分析语言特定书写系统（如阿拉伯语的从右到左书写、中文的表意文字）对模型泛化能力和性能的影响。

提出的方法

• 在来自 MLQA 和 XQuAD 的联合阅读理解数据集上微调 XLM-RoBERTa base 和 mBERT，利用两个数据集的训练数据以确保低资源语言样本充足。
• 应用在掩码语言建模（MLM）目标上预训练的语言适配器，以将多语言模型适配到特定语言。
• 以级联方式在任务适配器之前堆叠语言适配器，通过将源语言适配器替换为目标语言适配器，实现零样本迁移。
• 使用来自 AdapterHub 的预训练任务适配器（SQuAD1）进行阅读理解，仅微调适配器权重，冻结基础模型参数。
• 实现两种适配器架构：Houlsby 和 Pfeiffer，以评估其在七种语言上的下游性能影响。
• 通过在不使用目标语言数据重新训练的情况下，将源语言适配器替换为目标语言适配器，实现零样本跨语言迁移。

实验结果

研究问题

• RQ1 仅使用英语训练数据，级联语言适配器和任务适配器是否能显著提升低资源语言的阅读理解性能？
• RQ2 适配器架构选择（Houlsby 与 Pfeiffer）对低资源语言和高资源语言的性能有何影响？
• RQ3 书写系统特征（如阿拉伯语的从右到左书写、中文的表意文字）在多大程度上影响基于适配器的模型泛化能力？
• RQ4 在零样本跨语言迁移中，堆叠语言适配器和任务适配器是否优于单独使用任一类型适配器？
• RQ5 多任务适配器（MAD-X）微调在低资源设置下，对类型多样的语言是否有效提升性能？

主要发现

• 与未使用级联适配器的基线模型相比，堆叠语言适配器和任务适配器在印地语和越南语等低资源语言上的 F1 分数最高提升了 15.2%。
• 在七种语言中的五种（印地语、德语、西班牙语、中文、英语）中，仅使用语言适配器的设置优于仅使用任务适配器的设置，表明语言适应具有显著优势。
• 阿拉伯语在所有语言中表现最差，可能因其从右到左（RTL）的书写系统与基础模型的从左到右（LTR）训练分布存在显著差异。
• 中文的性能相比其他低资源语言有所下降，可能因其灵活的书写系统（如竖排、横排或从右到左布局）使模型产生混淆。
• 适配器架构选择（Houlsby 与 Pfeiffer）对大多数语言的性能影响可忽略不计，表明不同适配器设计具有鲁棒性。
• 多任务适配器（MAD-X）微调在跨语言阅读理解任务中优于最先进模型，证实其在零样本迁移中的有效性。