[论文解读] A Systematic Literature Review on Large Language Models for Automated Program Repair

Quanjun Zhang, Chunrong Fang+5 more|arXiv (Cornell University)|May 2, 2024

Software System Performance and Reliability被引用 15

一句话总结

本文首次系统性综述了大语言模型（LLMs）在自动化程序修复（APR）中的应用，分析了从2020年到2025年9月的189篇论文。

ABSTRACT

Automated Program Repair (APR) attempts to patch software bugs and reduce manual debugging efforts. Very recently, with the advances in Large Language Models (LLMs), an increasing number of APR techniques have been proposed, facilitating software development and maintenance and demonstrating remarkable performance. However, due to ongoing explorations in the LLM-based APR field, it is challenging for researchers to understand the current achievements, challenges, and potential opportunities. This work provides the first systematic literature review to summarize the applications of LLMs in APR between 2020 and 2025. We analyze 189 relevant papers from LLMs, APR and their integration perspectives. First, we categorize existing popular LLMs that are applied to support APR and outline four types of utilization strategies for their deployment. Besides, we detail some specific repair scenarios that benefit from LLMs, e.g., semantic bugs and security vulnerabilities. Furthermore, we discuss several critical aspects of integrating LLMs into APR research, e.g., input forms and open science. Finally, we highlight a set of challenges remaining to be investigated and the potential guidelines for future research. Overall, our paper provides a systematic overview of the research landscape to the APR community, helping researchers gain a comprehensive understanding of achievements and promote future research.

研究动机与目标

• 总结LLMs在2020年至2025年间如何应用于APR。
• 分析LLMs使用格局，包括模型类型、集成策略和实际考量。
• 识别LLMs带来收益的修复场景，并突出未来工作的差距与挑战。

提出的方法

• 通过准金标准搜索和溯源法收集189篇相关论文。
• 按LLM类型、APR任务和集成方法对论文进行分类。
• 对发表场所、语言和贡献进行趋势分析。
• 使用10项问题评估标准对质量进行评估，并纳入符合质量标准的arXiv论文。
• 通过公开仓库提供可复现性材料。

实验结果

研究问题

• RQ1 RQ1：使用LLMs的APR研究趋势是什么？
• RQ2 RQ2：哪些流行的LLM已被应用于支持APR？
• RQ3 RQ3：LLMs促进了哪些修复场景？
• RQ4 RQ4：哪些关键因素有助于将LLMs整合到APR中？

主要发现

• 自2020年以来，LLMs已成为APR中的一种普遍方法，2024年有66篇论文，累积趋势在上升，预计到2025年底将超过210篇出版物。
• 在发表场所中，ICSE代表性最高，发表了26篇论文，顶级软件工程期刊/会议占主导，同时AI/PL/安全等领域的会议/期刊也显示出跨学科的兴趣。
• Java 和 Python 是最主要的目标语言，但基于LLM的 APR 涵盖了24种语言，能够修复较少见的语言。
• 综述识别了在APR研究中使用的78种LLM，并将贡献分为新技术、实证研究、基准测试和人类研究。
• 通过严格的质量评估筛选研究，包含通过标准的arXiv论文，以确保可靠性。