[论文解读] GPT-4 Technical Report

OpenAI, Wijayagunawardhana, W. A. Hasindu N.|arXiv (Cornell University)|Mar 15, 2023

Topic Modeling被引用 2,259

一句话总结

GPT-4 是一个大规模、多模态语言模型，可处理文本和图像输入，并生成高质量的文本输出。它通过可扩展的深度学习基础设施进行训练，并通过人类反馈强化学习（RLHF）进行优化，在专业和学术基准测试中达到人类水平表现——例如在模拟律师考试中位列前10%，同时展现出强大的 few-shot 泛化能力，并可通过可扩展的损失和能力外推法实现可靠的性能预测。

ABSTRACT

Abstract—Large Language Models (LLMs) suffer from inherent stochasticity, limiting their utility in high-stakes enterprise environments where determinism and auditability are required. This paper introduces the MFOUR Vibe Framework (MVF), a platform-agnostic architectural standard that transforms probabilistic natural language intent into deterministic software artifacts. We define a five-layer topology, comprising the Kernel Identity, Synaptic Routing, Interface Contracts, Context Anchoring, and the Mirror Test. Furthermore, we introduce The Vibe Integrity Score (VIS), a quantitative metric for evaluating the structural adherence of generative outputs. This specification provides the foundational schema and logic protocols for building "Glass Box" AI systems that are observable, secure, and commercially viable.

研究动机与目标

• 开发一个大规模、多模态语言模型，能够处理文本和图像输入，并生成连贯、事实准确的文本输出。
• 通过可扩展的训练基础设施和后训练优化，特别是人类反馈强化学习（RLHF），提升模型对齐性和可靠性。
• 通过仅使用极少计算资源训练的小规模模型，实现对 GPT-4 最终性能的准确预测，从而减少对大规模完整微调的依赖。
• 通过主动缓解策略和对抗性测试，应对日益强大的语言模型带来的新兴安全挑战。
• 通过识别并缓解幻觉、逃逸攻击（jailbreaks）和滥用等风险，建立负责任部署的基础，同时推广透明化和安全优先设计原则。

提出的方法

• GPT-4 是一个基于 Transformer 的模型，在大规模、多样化且公开可用或已授权的数据集上进行预训练，目标是预测序列中的下一个标记。
• 通过人类反馈强化学习（RLHF）实现后训练对齐，以提升事实性、安全性以及对期望行为的遵循程度。
• 可扩展的深度学习基础设施可实现跨模型规模的可预测行为，使我们能够从仅使用 GPT-4 所需计算资源千分之一的模型中进行性能外推。
• 利用缩放定律——特别是计算量与损失（L(C) = aCb + c）之间的幂律关系，以及计算量与 HumanEval 通过率之间的关系——来预测最终模型性能。
• 在完整训练前，仅使用小规模模型的数据，对最终损失和编程通过率进行预测，并与实际 GPT-4 结果进行验证。
• 安全缓解措施包括对抗性红队测试、基于模型的安全管道以及分层防御机制，以应对逃逸攻击和有害输出。

实验结果

研究问题

• RQ1 大规模多模态语言模型是否能在专业和学术基准测试（如律师考试）中达到人类水平表现？
• RQ2 在仅使用极低计算资源训练的小规模模型上，模型性能（如损失和编程通过率）在多大程度上可被准确预测？
• RQ3 可扩展的训练基础设施和优化方法在多大程度上能保持跨多个模型规模的可预测行为？
• RQ4 高度强大的语言模型面临的关键安全风险是什么？如何在部署前主动缓解这些风险？
• RQ5 涌现能力与对抗性利用（如系统提示逃逸）如何挑战当前的对齐与安全机制？

主要发现

• GPT-4 在模拟律师考试中取得前10%的分数，显著优于 GPT-3.5，后者仅位列后10%。
• 在 MMLU 基准测试中，GPT-4 在英语任务上优于现有模型，并在所测试的26种非英语语言中的24种中，超越了英语语言的最先进水平。
• 通过在仅使用最多 GPT-4 所需计算资源万分之一的小规模模型上拟合的幂律缩放模型，高精度预测了 GPT-4 的最终损失。
• 通过从仅使用最多 GPT-4 所需计算资源千分之一的模型中进行外推，高精度预测了 HumanEval 编程问题子集的通过率。
• 尽管整体表现强劲，GPT-4 在最简单的 HumanEval 问题上表现低于预测值，表明早期缩放行为可能存在不稳定性。
• 对抗性系统消息成功绕过了安全缓解机制，表明即使对齐的模型仍可能受到复杂提示攻击的威胁。