[论文解读] A Survey on Efficient Inference for Large Language Models

Zixuan Zhou, Xuefei Ning+13 more|arXiv (Cornell University)|Apr 22, 2024

Topic Modeling被引用 21

一句话总结

本综述将大语言模型推理的效率技术分为数据级、模型级和系统级优化，并提供实验对比和未来方向。

ABSTRACT

Large Language Models (LLMs) have attracted extensive attention due to their remarkable performance across various tasks. However, the substantial computational and memory requirements of LLM inference pose challenges for deployment in resource-constrained scenarios. Efforts within the field have been directed towards developing techniques aimed at enhancing the efficiency of LLM inference. This paper presents a comprehensive survey of the existing literature on efficient LLM inference. We start by analyzing the primary causes of the inefficient LLM inference, i.e., the large model size, the quadratic-complexity attention operation, and the auto-regressive decoding approach. Then, we introduce a comprehensive taxonomy that organizes the current literature into data-level, model-level, and system-level optimization. Moreover, the paper includes comparative experiments on representative methods within critical sub-fields to provide quantitative insights. Last but not least, we provide some knowledge summary and discuss future research directions.

研究动机与目标

• 解释导致大语言模型推理低效的主要原因（模型规模、二次注意力、自回归解码）。
• 提供覆盖数据、模型和系统层面的高效化技术的全面分类法。
• 概述对具有代表性方法的对比实验，以提供实际指南。
• 讨论高效 LLM 推理的未来研究方向与知识综合。

提出的方法

• 分析并将关于 LLM 效率的文献分类为数据层、模型层和系统层优化（第 3 节）。
• 在关键子领域内对代表性方法进行对比实验，以获得定量洞见（第 4–6 节）。
• 讨论知识综合与未来研究方向（第 7–8 节）。
• 概述一个分类框架并讨论硬件加速器的考虑因素（第 6.3 节）。

实验结果

研究问题

• RQ1 导致 LLM 推理低效的主要瓶颈是什么？
• RQ2 如何整合数据层、模型层和系统层优化以提高 LLM 的推理效率？
• RQ3 对具有代表性的高效推理方法的对比实验揭示了哪些有效性？
• RQ4 高效 LLM 推理存在哪些未来方向和未解挑战？
• RQ5 硬件与服务系统的考量如何影响高效推理？

主要发现

• LLM 推理效率受限于大模型规模、二次注意力复杂性，以及带 KV-cache 内存考虑的自回归解码。
• 三层分类法（数据层、模型层、系统层）组织文献并指导实际优化。
• 对具有代表性方法的对比实验在模型量化和服务系统等子领域提供定量洞见。
• 数据层方法（输入压缩、输出组织）面向预填充和解码阶段，以降低成本和延迟。
• 模型层策略包括高效结构设计和模型压缩，重点在前馈网络（FFN）和注意力效率；系统层优化关注推理引擎和调度。
• 本综述提供可操作的建议，并讨论未来研究方向与硬件考量。