[论文解读] A Comprehensive Overview of Large Language Models

Humza Naveed, Asad Ullah Khan+7 more|arXiv (Cornell University)|Jul 12, 2023

Topic Modeling被引用 351

一句话总结

本文提供对大型语言模型（LLMs）的自包含、全面综述，涵盖架构、训练、微调、多模态扩展、数据集、评估、效率与未来挑战。它还提供对知名预训练 LLMs 的详细摘要，以及对研究人员和从业者的实用指导。

ABSTRACT

Large Language Models (LLMs) have recently demonstrated remarkable capabilities in natural language processing tasks and beyond. This success of LLMs has led to a large influx of research contributions in this direction. These works encompass diverse topics such as architectural innovations, better training strategies, context length improvements, fine-tuning, multi-modal LLMs, robotics, datasets, benchmarking, efficiency, and more. With the rapid development of techniques and regular breakthroughs in LLM research, it has become considerably challenging to perceive the bigger picture of the advances in this direction. Considering the rapidly emerging plethora of literature on LLMs, it is imperative that the research community is able to benefit from a concise yet comprehensive overview of the recent developments in this field. This article provides an overview of the existing literature on a broad range of LLM-related concepts. Our self-contained comprehensive overview of LLMs discusses relevant background concepts along with covering the advanced topics at the frontier of research in LLMs. This review article is intended to not only provide a systematic survey but also a quick comprehensive reference for the researchers and practitioners to draw insights from extensive informative summaries of the existing works to advance the LLM research.

研究动机与目标

• 提供对大型语言模型（LLMs）最近进展的简明、全面概述。
• 用细粒度信息总结预训练 LLM 的架构和训练细节。
• 讨论微调、多模态 LLM、增强型 LLM、数据集、基准测试、评估，以及部署相关注意事项。

提出的方法

• 综述 LLM 文献以呈现背景、架构、训练流程与策略。
• 在表格中总结知名的预训练 LLM 的架构和训练细节。
• 讨论面向从业者的配置、评估、数据集、基准测试以及实际注意事项。

Figure 1: The trend of papers released over years containing keywords “Large Language Model”, “Large Language Model + Fine-Tuning”, and “Large Language Model + Alignment”.

实验结果

研究问题

• RQ1 在主要 LLM 中，关键的架构选择和训练策略是什么？
• RQ2 微调、指令微调与对齐微调如何影响零-shot 与少样本的性能？
• RQ3 用于评估 LLM 的数据集、基准测试和评估方法有哪些，识别出的挑战是什么？
• RQ4 在 LLM 研究与实践中，效率、部署与安全方面需要考虑哪些因素？

主要发现

• LLMs 已发展为向指令微调且越来越开源的模型。
• 在大规模下，出现如推理和上下文学习等涌现能力，影响广泛应用。
• 为降低成本而进行的效率方法（参数高效微调、剪枝、量化、MoE、上下文长度策略）正在积极研究。
• 使用广泛的数据集和基准测试来评估 LLM，突出事实准确性与与人类偏好的一致性的目标。
• 研究者正在将 LLM 扩展到多模态和面向代理的场景，包括机器人技术和工具使用。
• 挑战包括事实准确性、与人类价值观的一致性、安全性，以及资源密集型的训练与推理。

Figure 2: Chronological display of LLM releases: light blue rectangles represent ‘pre-trained’ models, while dark rectangles correspond to ‘instruction-tuned’ models. Models on the upper half signify open-source availability, whereas those on the bottom half are closed-source. The chart illustrates