[论文解读] Gemma: Open Models Based on Gemini Research and Technology

Gemma Team, Thomas Mesnard+106 more|arXiv (Cornell University)|Mar 13, 2024

Multi-Agent Systems and Negotiation被引用 220

一句话总结

Gemma 提供两个开源大模型（2B 和 7B），基于 Gemini 技术，具备预训练和微调检查点，在广泛基准测试中评估语言、推理与安全性，并释放了开放推理代码与安全工具。

ABSTRACT

This work introduces Gemma, a family of lightweight, state-of-the art open models built from the research and technology used to create Gemini models. Gemma models demonstrate strong performance across academic benchmarks for language understanding, reasoning, and safety. We release two sizes of models (2 billion and 7 billion parameters), and provide both pretrained and fine-tuned checkpoints. Gemma outperforms similarly sized open models on 11 out of 18 text-based tasks, and we present comprehensive evaluations of safety and responsibility aspects of the models, alongside a detailed description of model development. We believe the responsible release of LLMs is critical for improving the safety of frontier models, and for enabling the next wave of LLM innovations.

研究动机与目标

• 提供基于 Gemini 研究的开放、优质的语言模型，供研究与开发使用。
• 在语言理解、推理、编码和安全性基准上评估性能。
• 评估安全性、记忆化以及负责任部署方面，以指导开放模型的实践。
• 提供预训练和指令微调的检查点，以促进广泛的研究与实验。
• 推动配套工具和文档的负责任开放权重发布。

提出的方法

• 采用 Transformer 解码器架构，上下文长度为 8192 个标记。
• 两种模型规模：2B（2048 维，18 层）和 7B（3072 维，28 层）。
• 改进：多查询注意力或多头注意力、旋转位置嵌入（RoPE）、GeGLU 激活、RMSNorm。
• 在 TPUv5e 上使用 Pathways 风格切分和 2D torus 硬件，进行高达 6T 标记的训练；采用单控制器 GPT 风格编排（Jax、Pathways、GSPMD）。
• 数据过滤以减少不安全或低质量内容并避免评测集泄露；词汇表大小 256k；2B 在 2T 标记上训练，7B 在 6T 标记上训练。
• 两阶段微调：监督微调（SFT）随后是基于人类反馈的强化学习（RLHF）；用于对话控制的指令格式化标记。

Figure 1: Language understanding and generation performance of Gemma 7B across different capabilities compared to similarly sized open models. We group together standard academic benchmark evaluations by capability and average the respective scores; see Table 6 for a detailed breakdown of performanc

实验结果

研究问题

• RQ1 Gemma 模型在自动评测和人工评估基准上相对于同等规模的开源模型表现如何？
• RQ2 Gemma 模型的安全性与记忆化特征是什么，包括暴露或记忆敏感信息的风险？
• RQ3 指令微调方案（SFT、RLHF）对下游性能和安全性的影响？
• RQ4 开放权重如何促进研究、安全研究和下游创新？
• RQ5 为负责任的开放模型发布有哪些有效的部署与治理机制？

主要发现

• Gemma 7B 在与之相似的开源模型中表现强劲，包括在 MMLU 基准测试达到 64.3%、MBPP 达到 44.4% 的领先。
• 在对 Mistral v0.2 7B Instruct 的人工评估中，Gemma-7B IT 在遵循指令的提示上获得 51.7% 的正向胜率，在安全性提示上获得 58% 的胜率（给出置信区间）。
• Gemma 模型在数学和编码能力方面表现强劲，在 GSM8K、MATH 与 MBPP 上优于许多开源竞争者。
• 预训练记忆化较低，与 PaLM 家族相当，未检测到记忆敏感数据；近似记忆化较高但仍在预期范围内。
• 开放发布包含预训练和微调检查点，以及用于研究与安全分析的开源推断/服务代码库。
• Gemma 强调负责任部署，具有安全性基准、红队测试、模型卡片，以及面向开发者的 Generative AI Responsible Toolkit。

Figure 2: Comparing average memorization rates across model families. We compare the Gemma pretrained models to PaLM and PaLM 2 models of comparable size and find similarly low rates of memorization.