[论文解读] Okapi: Instruction-tuned Large Language Models in Multiple Languages with Reinforcement Learning from Human Feedback

Viet Dac Lai, Chien Van Nguyen+5 more|arXiv (Cornell University)|Jul 29, 2023

Topic ModelingComputer Science被引用 3

一句话总结

Okapi 是首个基于人类反馈强化学习（RLHF）的多语言大型语言模型（LLM）指令微调框架，覆盖 26 种语言。它提供了指令与响应排序的数据集、基准评估，并证明在多语言指令微调中，RLHF 显著优于监督微调（SFT），尤其在低资源语言中表现更优。

ABSTRACT

A key technology for the development of large language models (LLMs) involves instruction tuning that helps align the models' responses with human expectations to realize impressive learning abilities. Two major approaches for instruction tuning characterize supervised fine-tuning (SFT) and reinforcement learning from human feedback (RLHF), which are currently applied to produce the best commercial LLMs (e.g., ChatGPT). To improve the accessibility of LLMs for research and development efforts, various instruction-tuned open-source LLMs have also been introduced recently, e.g., Alpaca, Vicuna, to name a few. However, existing open-source LLMs have only been instruction-tuned for English and a few popular languages, thus hindering their impacts and accessibility to many other languages in the world. Among a few very recent work to explore instruction tuning for LLMs in multiple languages, SFT has been used as the only approach to instruction-tune LLMs for multiple languages. This has left a significant gap for fine-tuned LLMs based on RLHF in diverse languages and raised important questions on how RLHF can boost the performance of multilingual instruction tuning. To overcome this issue, we present Okapi, the first system with instruction-tuned LLMs based on RLHF for multiple languages. Okapi introduces instruction and response-ranked data in 26 diverse languages to facilitate the experiments and development of future multilingual LLM research. We also present benchmark datasets to enable the evaluation of generative LLMs in multiple languages. Our experiments demonstrate the advantages of RLHF for multilingual instruction over SFT for different base models and datasets. Our framework and resources are released at https://github.com/nlp-uoregon/Okapi.

研究动机与目标

• 解决在非英语语言中尚未探索的、使用人类反馈强化学习（RLHF）训练多语言指令微调 LLM 的问题。
• 克服除英语和少数主要语言外，生成式 LLM 训练与评估数据稀缺的问题。
• 通过开源模型、数据集和基准测试，使高性能、指令对齐的 LLM 能够被广泛获取。
• 评估在多种基础模型和语言中，RLHF 与监督微调（SFT）在多语言指令微调中的有效性。
• 通过为低资源和代表性不足的语言提供标准化基准和训练资源，推动未来多语言生成式 AI 的研究。

提出的方法

• 收集并整理 26 种多样化语言的指令遵循数据，包括指令、输入和期望响应的三元组。
• 使用 LLM（如 ChatGPT）生成响应排序数据，为 RLHF 中的奖励建模提供对比输出。
• 在排序响应上训练奖励模型，以提供密集且与人类对齐的奖励信号，用于强化学习。
• 使用奖励模型对基础 LLM（BLOOM 和 LLaMA-7B）应用 RLHF，优化其与人类偏好的对齐。
• 使用 HuggingFace 开源 LLM 排行榜基准测试（ARC、HellaSwag、MMLU、TruthfulQA）进行英语零样本评估，并适配用于多语言分析。
• 在 https://github.com/nlp-uoregon/Okapi 上发布完整框架、数据集和训练模型，以支持开放研究和可复现性。

实验结果

研究问题

• RQ1 与 SFT 相比，RLHF 是否能在多种语言中显著提升多语言 LLM 的指令遵循性能？
• RQ2 使用 RLHF 训练的指令微调 LLM 在低资源语言和高资源语言中的泛化能力如何？
• RQ3 在 MMLU 和 HellaSwag 等多语言基准测试中，基于 RLHF 的模型相较于基于 SFT 的模型在多大程度上表现更优？
• RQ4 自动生成和翻译的指令-响应对在训练多语言 RLHF 流程中的有效性如何？
• RQ5 在使用 RLHF 与 SFT 进行多语言指令微调时，特别是在非英语语言中，性能差距有多大？

主要发现

• 基于 RLHF 的指令微调在多种基础模型和评估基准上，显著优于 SFT 在多语言指令微调中的表现。
• Okapi 框架表明，即使使用合成数据生成，RLHF 也能有效提升多语言 LLM 的对齐能力和推理能力。
• 在低资源语言中，RLHF 带来的性能提升尤为显著，而 SFT 因监督数据有限而表现受限。
• 基准评估显示，RLHF 微调的模型在 MMLU、HellaSwag 和 TruthfulQA 上的得分高于 SFT 对应模型。
• 在 26 种语言中发布的指令与响应排序数据集，为未来多语言生成式 AI 研究奠定了基础。
• 尽管依赖 LLM 生成的数据，该框架仍实现了具有竞争力的性能，表明在极少人工标注的情况下，实现可扩展的多语言 RLHF 是可行的。