[论文解读] InternLM2 Technical Report

Zheng Cai, Maosong Cao+98 more|arXiv (Cornell University)|Mar 26, 2024

Artificial Intelligence in Healthcare and Education被引用 27

一句话总结

InternLM2 是一个开源的 LLM，在 30 项基准测试上超越了先前的开源模型，支持最长达 200k 的上下文，并使用 COOL RLHF 进行对齐。

ABSTRACT

The evolution of Large Language Models (LLMs) like ChatGPT and GPT-4 has sparked discussions on the advent of Artificial General Intelligence (AGI). However, replicating such advancements in open-source models has been challenging. This paper introduces InternLM2, an open-source LLM that outperforms its predecessors in comprehensive evaluations across 6 dimensions and 30 benchmarks, long-context modeling, and open-ended subjective evaluations through innovative pre-training and optimization techniques. The pre-training process of InternLM2 is meticulously detailed, highlighting the preparation of diverse data types including text, code, and long-context data. InternLM2 efficiently captures long-term dependencies, initially trained on 4k tokens before advancing to 32k tokens in pre-training and fine-tuning stages, exhibiting remarkable performance on the 200k ``Needle-in-a-Haystack" test. InternLM2 is further aligned using Supervised Fine-Tuning (SFT) and a novel Conditional Online Reinforcement Learning from Human Feedback (COOL RLHF) strategy that addresses conflicting human preferences and reward hacking. By releasing InternLM2 models in different training stages and model sizes, we provide the community with insights into the model's evolution.

研究动机与目标

• 展示在多个基准和维度上开源 LLM 的性能。
• 详述包括文本、代码和长上下文数据在内的多样化预训练数据准备。
• 描述实现 32k+ 上下文窗口和 200k needle-in-a-haystack 能力的长上下文训练技术。
• 呈现对齐方法，包括 SFT 与 COOL RLHF，以处理相互冲突的人类偏好。
• 分享训练基础设施（InternEvo）与模型在各阶段的演进，以引导社区采用。

提出的方法

• 描述数据处理管线，对文本数据进行格式化、去重、安全与质量筛选。
• 解释基于 GPT-4 风格的 cl100k 词表的预训练分词以及中文增强。
• 概述通过 4k~32k 上下文数据的长上下文预训练，以及用于去重的 Locality-Sensitive Hashing。
• 介绍用于长上下文推理的 Grouped-Query Attention (GQA) 以及张量并行布局的选择。
• 详述有监督微调（SFT）与带条件的 Online RLHF（COOL RLHF），包含一个条件奖励模型和 PPO 更新。
• 呈现 InternEvo 训练框架，具备内存效率、容错性与交互式 RLHF 设置。

实验结果

研究问题

• RQ1 InternLM2 在 6 个维度和 30 项基准测试中的表现相较于开源对手如何？
• RQ2 哪些数据处理与筛选策略最有利于安全、高质量的预训练数据？
• RQ3 长上下文模型（最高 200k tokens）是否可以在实践中被有效训练和利用？
• RQ4 COOL RLHF 如何应对对齐中的相互冲突的人类偏好与奖励操纵？
• RQ5 哪些基础设施与模型演进实践能够提升社区的可扩展性与可重复性？

主要发现

• InternLM2 在综合评估和长上下文任务上超越了先前的开源模型。
• 模型在长上下文方面表现强劲，包括在 200k context 测试中的近乎完整的 needle 检测。
• COOL RLHF 通过调和多样化偏好并减轻奖励操纵，提升了主观对齐结果。
• 高质量、经安全筛选的预训练数据对稳定性和性能至关重要。
• InternEvo 实现了在数千个 GPU 上的可扩展、容错训练与交互式 RLHF。