[论文解读] Efficient and Green Large Language Models for Software Engineering: Literature Review, Vision, and the Road Ahead

Jieke Shi, Zhou Yang+1 more|arXiv (Cornell University)|Apr 6, 2024

Software System Performance and Reliability被引用 4

一句话总结

本文倡导在软件工程领域采用高效且环保的大型语言模型（LLMs），提出一项研究路线图，以降低计算成本和环境影响。重点包括模型压缩、推理加速、程序优化以及在高效代码上的微调，旨在实现可访问、高性能且可持续的 LLM4SE 解决方案。

ABSTRACT

Large Language Models (LLMs) have recently shown remarkable capabilities in various software engineering tasks, spurring the rapid growth of the Large Language Models for Software Engineering (LLM4SE) area. However, limited attention has been paid to developing efficient LLM4SE techniques that demand minimal computational cost, time, and memory resources, as well as green LLM4SE solutions that reduce energy consumption, water usage, and carbon emissions. This paper aims to redirect the focus of the research community towards the efficiency and greenness of LLM4SE, while also sharing potential research directions to achieve this goal. It commences with a brief overview of the significance of LLM4SE and highlights the need for efficient and green LLM4SE solutions. Subsequently, the paper presents a vision for a future where efficient and green LLM4SE revolutionizes the LLM-based software engineering tool landscape, benefiting various stakeholders, including industry, individual practitioners, and society. The paper then delineates a roadmap for future research, outlining specific research paths and potential solutions for the research community to pursue. While not intended to be a definitive guide, the paper aims to inspire further progress, with the ultimate goal of establishing efficient and green LLM4SE as a central element in the future of software engineering.

研究动机与目标

• 解决当前 LLM4SE 解决方案带来的高计算与环境成本，这些成本限制了个人开发者和初创企业的可及性。
• 克服 LLM4SE 效率方面的挑战，包括训练时间过长、内存占用高，以及因延迟和资源需求导致的推理缓慢。
• 通过减少训练和推理过程中的能耗与碳排放，降低 LLM4SE 的环境足迹。
• 提升 LLM 生成代码的效率与可持续性，因为其在执行时间与内存使用方面常逊于人工编写的代码。
• 通过使解决方案在个人设备和低资源环境中可行，推动 LLM4SE 的广泛应用。

提出的方法

• 提出知识蒸馏、量化和剪枝等模型压缩技术，以在不牺牲性能的前提下减小模型规模和推理成本。
• 探索动态与级联推理策略，根据输入复杂度自适应选择更小或更快的模型，降低对大型、慢速 LLM 的依赖。
• 研究推测性解码与非自回归生成方法，以加速 LLM 推理，提升响应速度并减少能耗。
• 将 LLM 与现有程序分析工具（如代码补全引擎）集成，尽早过滤不可行的输出，提升推理效率。
• 开发程序转换工具，自动优化 LLM 推理代码，以利用硬件特定特性，如 CPU/GPU 并行处理与后端库。
• 应用编译器级优化，如删除无用代码与调优优化标志，以减少 LLM 推理管道中的执行开销。

实验结果

研究问题

• RQ1 在训练和推理过程中，如何使 LLM4SE 解决方案在时间、内存和能耗方面更加高效？
• RQ2 有哪些技术可用于在不损害准确性或功能性的前提下，加速软件工程任务中的 LLM 推理？
• RQ3 如何优化 LLM 生成的代码，使其在执行时间和内存使用方面达到或超过人工编写代码的效率？
• RQ4 与静态分析和程序验证工具的集成，在提升 LLM4SE 管道效率与可持续性方面发挥什么作用？
• RQ5 如何在人工编写的高效代码上对 LLM 进行微调，使其默认生成高性能、低能耗的代码？

主要发现

• 当前的 LLM4SE 解决方案成本过高且资源消耗巨大，GPT-3 的训练成本超过 400 万美元，云推理月成本可达 20 万美元。
• LLaMA 模型训练消耗 2,638 MWh 能源，排放约 1,300 吨 CO₂，凸显了 LLM 的环境成本。
• 由于内存需求过高，LLM 在个人设备上的推理仍不切实际，限制了离线和低延迟部署。
• LLM 生成的代码在执行时间和内存使用方面常劣于人工编写的代码，降低了软件的竞争力。
• 推测性解码与非自回归生成等技术可加速推理，但其在 LLM4SE 中的应用仍研究不足。
• 通过删除无用代码、调优编译器标志以及硬件感知编译优化 LLM 推理代码，可显著降低能耗并提升效率。