[论文解读] Large Language Models for Software Engineering: A Systematic Literature Review

Xinyi Hou, Yanjie Zhao+8 more|arXiv (Cornell University)|Aug 21, 2023

Software Engineering Research被引用 111

一句话总结

系统性文献综述，分析2017–2023年关于将大型语言模型应用于软件工程的229篇论文，对模型、数据实践、优化/评估策略以及软件工程任务进行了分类。

ABSTRACT

Large Language Models (LLMs) have significantly impacted numerous domains, including Software Engineering (SE). Many recent publications have explored LLMs applied to various SE tasks. Nevertheless, a comprehensive understanding of the application, effects, and possible limitations of LLMs on SE is still in its early stages. To bridge this gap, we conducted a systematic literature review (SLR) on LLM4SE, with a particular focus on understanding how LLMs can be exploited to optimize processes and outcomes. We select and analyze 395 research papers from January 2017 to January 2024 to answer four key research questions (RQs). In RQ1, we categorize different LLMs that have been employed in SE tasks, characterizing their distinctive features and uses. In RQ2, we analyze the methods used in data collection, preprocessing, and application, highlighting the role of well-curated datasets for successful LLM for SE implementation. RQ3 investigates the strategies employed to optimize and evaluate the performance of LLMs in SE. Finally, RQ4 examines the specific SE tasks where LLMs have shown success to date, illustrating their practical contributions to the field. From the answers to these RQs, we discuss the current state-of-the-art and trends, identifying gaps in existing research, and flagging promising areas for future study. Our artifacts are publicly available at https://github.com/xinyi-hou/LLM4SE_SLR.

研究动机与目标

• 绘制迄今为止用于SE任务的LLM以及它们按体系结构和特征的分类方式。
• 分析LLM4SE研究中的数据收集、预处理和表示实践。
• 识别在SE中使用的LLM优化与评估策略。
• 识别LLMs在SE中已显示出有效性的任务，并提炼趋势、差距与未来方向。

提出的方法

• 遵循Kitchenham式的系统文献综述流程（规划、实施、分析）。
• 从人工识别的相关论文构建准金标准，然后进行自动化检索和雪球式检索以实现全面性。
• 应用明确的纳入/排除标准以及一个包含10条目的一致性质量评估清单来筛选高质量的原始研究。
• 对SE任务类别、LLM类别、数据处理、优化算法、评估指标和SE活动进行数据提取。
• 对出版场所、年份与架构（仅编码器、编码器-解码器、仅解码器）进行描述性分析和趋势分析。
• 综合结果以映射现状、挑战与未来研究方向。

实验结果

研究问题

• RQ1 RQ1：迄今为止已有哪此LLM被用于解决SE任务？
• RQ2 RQ2：与SE相关的数据集如何被收集、预处理并在LLMs中使用？
• RQ3 RQ3：用于优化和评估LLM4SE的技术有哪些？
• RQ4 RQ4：迄今为止使用LLM4SE有效解决的SE任务有哪些？

主要发现

• 本研究是首个关于基于LLM的SE解决方案的综合性系统综述，分析了2017–2023年的229篇论文。
• 在收集的文献中，使用了超过50种不同的LLM来执行SE任务。
• 使用了仅编码器、编码器-解码器以及仅解码器的LLM，其中仅解码器在2023年开始占主导地位。
• 文献显示多样化的数据处理实践以及针对SE任务的各种优化和评估方法。
• SE任务涵盖55个不同的活动，分为六大核心SE活动（需求、设计、开发、质量保证、维护、管理）。
• 显著的快速增长趋势：2022年至2023年初发表数量急剧增加，大量工作出现在arXiv上（反映持续快速发展）。
• 本综述指出挑战并提出LLM4SE未来研究方向，包括模型选择、数据处理、微调、评估与部署等考虑。