[论文解读] What is the Role of Small Models in the LLM Era: A Survey

Lihu Chen, Gaël Varoquaux|arXiv (Cornell University)|Sep 10, 2024

Digital Rights Management and Security被引用 6

一句话总结

这个综述分析小模型（SM）在协作和互补性方面如何与大语言模型（LLMs）竞争与协作，重点在数据整理、增强推理和高效部署。

ABSTRACT

Large Language Models (LLMs) have made significant progress in advancing artificial general intelligence (AGI), leading to the development of increasingly large models such as GPT-4 and LLaMA-405B. However, scaling up model sizes results in exponentially higher computational costs and energy consumption, making these models impractical for academic researchers and businesses with limited resources. At the same time, Small Models (SMs) are frequently used in practical settings, although their significance is currently underestimated. This raises important questions about the role of small models in the era of LLMs, a topic that has received limited attention in prior research. In this work, we systematically examine the relationship between LLMs and SMs from two key perspectives: Collaboration and Competition. We hope this survey provides valuable insights for practitioners, fostering a deeper understanding of the contribution of small models and promoting more efficient use of computational resources. The code is available at https://github.com/tigerchen52/role_of_small_models

研究动机与目标

• 激发对在LLMs时代小模型生态位的理解。
• 在准确性、通用性、效率和可解释性方面比较SMs与LLMs。
• 绘制小模型通过数据整理、评估和增强推理来支持LLMs的路径。
• 为资源受限场景提出实用的协作模式与未来研究方向。

提出的方法

• 相对于LLMs定义小模型，并聚焦于基于Transformer的体系结构。
• 系统性评审小模型在数据整理、评估、效率、增强推理等方面提升LLMs的协作机制。
• 系统性评估LLMs如何支持SMs（更丰富的监督、提示词和领域自适应）。
• 将方法归类为数据整理、增强、提示工程和缺陷修复。
• 讨论数据选择、重新加权，以及从弱到强监督作为核心范式。
• 概述关于数据质量、合成数据和理论理解的未来方向与未解问题。

实验结果

研究问题

• RQ1 小模型在基于LLM的系统中在数据整理、训练、推理和评估方面扮演什么角色？
• RQ2 小模型如何与LLMs协作以提高效率、鲁棒性和对齐？
• RQ3 在LLM时代，SMs仍具备优势的实际与生态位有哪些？
• RQ4 使用SMs进行数据选择、重新加权以及从弱监督到强监督的有效策略是什么？
• RQ5 未来研究方向如何最大化SMs与LLMs并存的价值？

主要发现

• 较小的模型仍然受欢迎且有用，在有针对性的设置中提供成本和效率优势，同时具备竞争力的性能。
• 通过数据整理、从弱到强监督和验证，SMs可以在整个流程中增强LLMs，提升质量与鲁棒性。
• RAG、领域自适应、提示工程和缺陷修复是SMs帮助LLMs进行增强推理的关键路径。
• 使用SMs的数据整理策略（选择与重新加权）在数据较少的情况下实现高质量、任务或领域特定的训练数据。
• 从弱到强的泛化表明较弱的监督者也能引导更强的模型，减少对海量人工标注数据的依赖。
• 本文强调“少即是多”——通过整理高质量数据与利用SMs在降低成本的同时维持性能。