[论文解读] AceGPT, Localizing Large Language Models in Arabic

Huang Huang, F. Richard Yu+18 more|arXiv (Cornell University)|Sep 21, 2023

Topic Modeling被引用 6

一句话总结

本文介绍了AceGPT，一个通过本地化预训练、使用母语阿拉伯语指令的监督微调、GPT-4生成的阿拉伯语回复以及与文化契合奖励模型结合的强化学习，实现最先进性能的开源阿拉伯语大语言模型（LLM）。AceGPT在关键基准测试中表现优于现有模型，包括阿拉伯语Vicuna-80、阿拉伯语AlpacaEval、阿拉伯语MMLU、EXAMs以及一项新的阿拉伯语文化与价值对齐（ACVA）基准测试。

ABSTRACT

This paper is devoted to the development of a localized Large Language Model (LLM) specifically for Arabic, a language imbued with unique cultural characteristics inadequately addressed by current mainstream models. Significant concerns emerge when addressing cultural sensitivity and local values. To address this, the paper proposes a comprehensive solution that includes further pre-training with Arabic texts, Supervised Fine-Tuning (SFT) utilizing native Arabic instructions, and GPT-4 responses in Arabic, alongside Reinforcement Learning with AI Feedback (RLAIF) employing a reward model attuned to local culture and values. The goal is to cultivate culturally cognizant and value-aligned Arabic LLMs capable of accommodating the diverse, application-specific needs of Arabic-speaking communities. Comprehensive evaluations reveal that the resulting model, dubbed `AceGPT', sets the state-of-the-art standard for open Arabic LLMs across various benchmarks. Codes, data, and models are in https://github.com/FreedomIntelligence/AceGPT.

研究动机与目标

• 为解决主流大语言模型在阿拉伯语中存在‘本地化问题’，即未能与阿拉伯语文化规范和价值观对齐的问题。
• 开发一个全面的、开源的阿拉伯语大语言模型训练流程，涵盖预训练、监督微调以及基于AI反馈的强化学习。
• 引入一项新基准ACVA，以定量衡量阿拉伯语大语言模型在文化与价值观对齐方面的表现。
• 在多个阿拉伯语自然语言处理基准测试中实现最先进性能，包括指令遵循、知识理解以及文化对齐任务。
• 发布AceGPT及其奖励模型，以支持阿拉伯语自然语言处理领域的研究与开发。

提出的方法

• 通过在多样化阿拉伯语文本语料库上进行渐进式预训练，建立坚实的语言与文化基础。
• 使用母语阿拉伯语的指令-响应对进行监督微调，以提升指令遵循能力。
• 通过GPT-4生成高质量阿拉伯语回复，构建高保真监督信号，避免翻译带来的偏差。
• 采用基于AI反馈的强化学习（RLAIF），奖励模型基于与阿拉伯语文化价值观一致的人类偏好数据进行训练。
• 在每个基准测试任务中，模型均以完全监督的方式进行训练，超参数通过贝叶斯优化进行调优。
• 引入一项新基准ACVA，用于评估文化与价值观对齐，衡量文化相关实体的存在及适当的区域参考。

实验结果

研究问题

• RQ1 如何有效实现大语言模型在阿拉伯语中的本地化，同时保持文化与价值观对齐？
• RQ2 使用GPT-4生成的阿拉伯语回复在多大程度上能提升微调后阿拉伯语大语言模型的流畅性与文化相关性？
• RQ3 基于文化根基的偏好数据训练的奖励模型，是否能显著提升大语言模型输出与阿拉伯语文化规范的对齐程度？
• RQ4 AceGPT在包括指令遵循、知识理解与文化对齐任务在内的多样化基准测试中，与现有开源阿拉伯语大语言模型相比表现如何？
• RQ5 移除RLAIF对模型性能与人类评估中对齐程度的影响是什么？

主要发现

• 在阿拉伯语Vicuna-80基准测试中，AceGPT在开源阿拉伯语大语言模型中实现了最先进性能，尽管该基准规模有限，仍优于Turbo模型。
• 在阿拉伯语AlpacaEval基准测试中，AceGPT-7B-chat相比先前最先进阿拉伯语大语言模型Sengupta et al. (2023)实现了30%的性能提升。
• 在阿拉伯语MMLU与EXAMs知识基准测试中，AceGPT在开源模型中达到最先进水平，展现出强大的事实知识保留能力。
• 在新引入的ACVA基准测试中，AceGPT实现最先进性能，表明其与阿拉伯语文化与价值观规范高度对齐。
• 人工评估显示，AceGPT-13B-chat在68%的比较中胜过Jais-13B-chat（志愿者1），AceGPT-7B-chat在66%的比较中胜过Turbo（志愿者1）。
• 移除RLAIF后性能显著下降，AceGPT-7B-chat（无RLAIF）在74%的比较中败给Turbo（志愿者3），凸显了奖励建模在对齐中的关键作用。