[论文解读] Bactrian-X: Multilingual Replicable Instruction-Following Models with Low-Rank Adaptation

Haonan Li, Fajri Koto+3 more|arXiv (Cornell University)|May 24, 2023

Topic Modeling被引用 6

一句话总结

Bactrian-X 引入了一个多语言指令跟随数据集，包含 across 52 种语言的 340 万个指令-响应对，通过翻译和响应蒸馏构建而成。利用低秩微调（LoRA），作者训练了轻量级、即插即用的适配器，在基础模型和现有指令微调模型的基础上，显著提升了零样本多语言性能，优于 BLOOMZ 和 Alpaca 等模型，在 XCOPA、XWinograd 和人工评估等多样化基准测试中表现更优。

ABSTRACT

Instruction tuning has shown great promise in improving the performance of large language models. However, research on multilingual instruction tuning has been limited due to the scarcity of high-quality instruction-response datasets across different languages. To bridge this gap, we present Bactrian-X, a comprehensive multilingual parallel dataset of 3.4 million instruction-response pairs across 52 languages. Leveraging this dataset, we train a set of adapters using low-rank adaptation (LoRA), which are lightweight components that seamlessly integrate with large language models. These adapters have a substantially lower parameter count than the base model, making them easily replaceable and usable as plug-ins for different languages or language groups. Extensive experiments in various multilingual evaluation settings demonstrate that models derived from LoRA-based training over Bactrian-X outperform both the vanilla models and existing instruction-tuned models. The code and models are publicly available at https://github.com/mbzuai-nlp/bactrian-x

研究动机与目标

• 为训练指令跟随模型解决高质量多语言指令-响应数据集稀缺的问题。
• 提升大型语言模型在英语之外的多语言泛化能力，尤其针对低资源语言。
• 开发一种基于低秩微调（LoRA）的参数高效微调方法，实现轻量级、即插即用的、语言特定的微调，且参数量极少。
• 在多样化的零样本多语言 NLP 任务中，评估所提出的多语言数据集和适配器技术的有效性。
• 公开提供模型和代码，以加速多语言指令微调领域的研究。

提出的方法

• 通过 Google Translate 将 Alpaca 和 Dolly 的英语指令翻译成 52 种语言，构建 Bactrian-X 数据集。
• 使用 GPT-4 和输出蒸馏技术生成每个翻译后指令的响应，以确保质量与一致性。
• 对基础模型（BLOOM 和 LLaMA）应用低秩微调（LoRA），引入可训练的适配器矩阵，其参数量远少于完整模型。
• LoRA 适配器在多语言数据集上端到端训练，支持为不同语言或语言组即插即用部署。
• 在多个多语言基准测试中进行评估，包括 XCOPA、XStoryCloze、XWinograd、SentimentX 和 EXAMS，使用 GPT-4 和人工标注者。
• 通过发布完整数据集、代码和训练好的适配器权重，确保方法的可复现性。

Figure 1: Overview of the Bactrian-X dataset and process for model creation.

实验结果

研究问题

• RQ1 通过自动化翻译和响应蒸馏构建的大规模多语言指令跟随数据集，是否能在多种语言中实现高质量的指令微调？
• RQ2 低秩微调（LoRA）是否能实现有效且参数高效的多语言模型指令微调，尤其对低资源语言？
• RQ3 在 Bactrian-X 上微调的 LoRA 模型与原始模型及现有指令微调模型（如 BLOOMZ 和 Alpaca）相比，在零样本多语言泛化能力上表现如何？
• RQ4 所提出的模型在未在基础模型预训练中出现过的语言上，泛化能力有多强？
• RQ5 人工评估和 GPT-4 评分是否能证实所提出模型在多样化语言和任务设置下的优越性？

主要发现

• BX${}_{\text{BLOOM}}$ 和 BX${}_{\text{LLaMA}}$ 在所有评估的多语言基准测试中均优于其基础模型及指令微调版本（BLOOMZ 和 Alpaca）。
• 在人工评估中，BX${}_{\text{BLOOM}}$ 在阿拉伯语上的平均排名得分为 86.7，印尼语为 80.0，中文为 84.6，显著优于 BLOOMZ 和 Alpaca。
• BX${}_{\text{LLaMA}}$ 在缅甸语上获得最高分（92.1），在他加禄语上得分为 81.7 —— 这两种语言未在 BLOOM 的预训练中出现，表明其具备强大的零样本泛化能力。
• 在 XCOPA、XWinograd 和 XStoryCloze 上，模型达到最先进性能，且在高资源和低资源语言中均表现出一致的性能提升。
• GPT-4 评估确认，所提出模型生成的响应在准确性、连贯性和指令对齐性方面均优于基线模型。
• Bactrian-X 数据集包含 340 万个指令-响应对，覆盖 52 种语言，是迄今为止最大的通用多语言指令数据集。

Figure 3: The average performance of 7B models on unseen languages (i.e. languages that are not used in pre-training the base model).