Skip to main content
QUICK REVIEW

[论文解读] Jais and Jais-chat: Arabic-Centric Foundation and Instruction-Tuned Open Generative Large Language Models

Neha Sengupta, Sunil Kumar Sahu|arXiv (Cornell University)|Aug 30, 2023
Topic ModelingComputer Science被引用 22
一句话总结

本论文介绍 Jais(13B 面向阿拉伯语的解码器型大语言模型)及其指令微调版本 Jais-chat,在混合阿拉伯语和英语数据并包含代码的训练下,展示出强劲的阿拉伯语性能和具有竞争力的英语结果,并提供用于研究的公开发布版本。

ABSTRACT

We introduce Jais and Jais-chat, new state-of-the-art Arabic-centric foundation and instruction-tuned open generative large language models (LLMs). The models are based on the GPT-3 decoder-only architecture and are pretrained on a mixture of Arabic and English texts, including source code in various programming languages. With 13 billion parameters, they demonstrate better knowledge and reasoning capabilities in Arabic than any existing open Arabic and multilingual models by a sizable margin, based on extensive evaluation. Moreover, the models are competitive in English compared to English-centric open models of similar size, despite being trained on much less English data. We provide a detailed description of the training, the tuning, the safety alignment, and the evaluation of the models. We release two open versions of the model -- the foundation Jais model, and an instruction-tuned Jais-chat variant -- with the aim of promoting research on Arabic LLMs. Available at https://huggingface.co/inception-mbzuai/jais-13b-chat

研究动机与目标

  • 通过構建一个面向阿拉伯语的基础模型来解决在大型语言模型中阿拉伯语的代表性不足问题。
  • 证明在给定模型规模下,混合阿拉伯语与英语数据可以获得更好的阿拉伯语性能。
  • 开发一个具有安全导向微调并具对话友好界面的指令式微调变体(Jais-chat)。
  • 公开发布模型的开放版本以促进阿拉伯 NLP 研究和负责任部署。
  • 在广泛的基准测试上评估阿拉伯语与英语能力,并讨论数据、安全性与偏见问题。

提出的方法

  • 在混合的阿拉伯语、英语数据以及编程代码上预训练一个 13B 的解码器式 Transformer(Jais)。
  • 使用自定义的阿拉伯语-英语分词器(Jais tokenizer),实现对等语言暴露以平衡多语言性。
  • 采用 ALiBi 位置编码以进行长上下文外推,并使用 SwiGLU 激活以提升性能。
  • 应用 Maximal Update Parametrization (µP) 指导超参数选择并迁移到最终模型。
  • 在一个大型混合数据集上进行训练(阿拉伯语 72B tokens 通过增强/上采样扩增至 116B,即阿拉伯份额 29%),英语 232B,代码 46B,总计 395B tokens;在 Cerebras CG-1 环境中分布训练。
  • 在 3.6M 阿拉伯语和 6M 英语的指令-响应对上,对指令微调变体(Jais-chat)进行进一步的安全提示和外部分类器的微调。

实验结果

研究问题

  • RQ1在 13B 参数下,双语阿拉伯语–英语 训练混合对阿拉伯语能力与推理相比阿拉伯语单语模型有何影响?
  • RQ2尽管英语数据相对于英语为中心的模型有限,面向阿拉伯语的 LLM 是否能在英语方面获得竞争性表现?
  • RQ3指令式微调与安全对齐对阿拉伯语 LLM 的可用性和风险缓解有何影响?
  • RQ4预处理、分词器设计以及架构选择(ALiBi、SwiGLU、µP)在阿拉伯语语言建模质量上有多大影响?
  • RQ5在安全性与偏见缓解方面,发布开放的阿拉伯语 LLMs 存在哪些权衡与要求?

主要发现

  • Jais 在相同规模的开放阿拉伯语和多语言模型中,阿拉伯语知识与推理能力显著优于对照模型。
  • 尽管预训练阶段英语数据显著较少,Jais 在英语方面仍具竞争力。
  • 1:2 的阿拉伯语–英语数据混合在 13B 模型上优于阿拉伯语单语训练,表明在此规模的跨语言迁移收益。
  • 在他们的实验中,13B 的 Jais 模型优于 30B 的阿拉伯语单语模型,凸显数据混合与架构选择带来的效率提升。
  • Jais 与 Jais-chat 已公开发布,以促进阿拉伯语 LLM 的研究与开发,并描述了安全措施。

阅读本论文

在 Nubint 阅读器中打开原文,边读边就任意段落提问。

在 Nubint 中阅读本论文

本解读由 AI 根据论文原文生成,引用前请核对原文。