[论文解读] Examining User-Friendly and Open-Sourced Large GPT Models: A Survey on Language, Multimodal, and Scientific GPT Models

Kaiyuan Gao, Sunan He+5 more|arXiv (Cornell University)|Aug 27, 2023

Topic Modeling被引用 7

一句话总结

本综述对用户友好、开源且相对小型的大规模语言模型（LLMs）进行了全面分析，重点涵盖其架构、数据整理、高效微调与部署技术以及基准测试。该研究评估了语言、多模态和科学GPT模型，提供人工与自动化评估以指导模型选择，并指出面向可访问性、高效性和可信AI发展的未来方向。

ABSTRACT

Generative pre-trained transformer (GPT) models have revolutionized the field of natural language processing (NLP) with remarkable performance in various tasks and also extend their power to multimodal domains. Despite their success, large GPT models like GPT-4 face inherent limitations such as considerable size, high computational requirements, complex deployment processes, and closed development loops. These constraints restrict their widespread adoption and raise concerns regarding their responsible development and usage. The need for user-friendly, relatively small, and open-sourced alternative GPT models arises from the desire to overcome these limitations while retaining high performance. In this survey paper, we provide an examination of alternative open-sourced models of large GPTs, focusing on user-friendly and relatively small models that facilitate easier deployment and accessibility. Through this extensive survey, we aim to equip researchers, practitioners, and enthusiasts with a thorough understanding of user-friendly and relatively small open-sourced models of large GPTs, their current state, challenges, and future research directions, inspiring the development of more efficient, accessible, and versatile GPT models that cater to the broader scientific community and advance the field of general artificial intelligence. The source contents are continuously updating in https://github.com/GPT-Alternatives/gpt_alternatives.

研究动机与目标

• 解决大型闭源GPT模型的局限性，如高计算成本、复杂部署及缺乏透明度。
• 识别并分析开源、小型化且用户友好的替代方案，确保在资源有限的研究人员和实践者中仍具备强大性能。
• 评估语言、多模态和科学模型中预训练与微调数据的质量、多样性及整理方式。
• 调查可降低资源需求而不牺牲模型能力的高效部署与微调技术。
• 通过人工与基准测试评估，指导模型选择，推动负责任、可访问的AI发展。

提出的方法

• 系统性调研开源GPT模型，包括基于LLaMA2的变体，重点关注架构设计、模型规模与效率之间的权衡。
• 分析预训练数据源、数据质量、数量与多样性，特别关注对齐与指令微调数据。
• 调研高效推理与微调技术，包括量化、蒸馏以及参数高效微调（如LoRA）。
• 利用标准化基准测试（如MMLU、GSM8K）与人工评估，评估模型在真实场景中的可用性与性能。
• 探索多模态与科学GPT模型，重点关注视觉与自然语言处理的融合，以及生物医学与科学领域中的特定领域适应。
• 维护一个持续更新的代码库，网址为 https://github.com/GPT-Alternatives/gpt_alternatives，以支持模型复现与部署。

实验结果

研究问题

• RQ1 哪些架构与设计选择使小型开源GPT模型能在降低资源需求的同时实现高性能？
• RQ2 预训练与微调数据的质量、多样性与整理方式如何影响模型性能与对齐效果？
• RQ3 哪些技术能够实现在有限硬件上对用户友好型GPT模型的高效部署与微调？
• RQ4 在语言、多模态与科学任务中，开源GPT模型在基准测试与人工评估中的表现如何比较？
• RQ5 在开发可访问、可信且面向特定领域的科学基础模型方面，面临哪些关键挑战与未来研究方向？

主要发现

• 用户友好、开源的LLM（如基于LLaMA2的模型）在标准基准测试中表现出色，同时显著降低了计算与内存需求。
• 高质量、多样化且精心整理的预训练与指令微调数据对模型对齐与性能至关重要，尤其在科学与多模态场景中。
• 高效的微调技术（如LoRA与量化）可实现对小型模型在特定任务上的有效适应，且计算开销极低。
• 人工评估显示，包括LLaMA2及其变体在内的多个开源模型在真实使用场景中已接近与专有模型相当的性能。
• 科学与多模态GPT模型在加速生物医学与视觉-语言任务研究方面展现出巨大潜力，但数据与领域特定适应仍是主要挑战。
• 持续的开源项目与代码库（如gpt_alternatives）为可复现性、部署支持及社区驱动的可访问LLM开发提供了关键基础设施。