[論文レビュー] A Systematic Literature Review on Large Language Models for Automated Program Repair

Quanjun Zhang, Chunrong Fang+5 more|arXiv (Cornell University)|May 2, 2024

Software System Performance and Reliability被引用数 15

ひとこと要約

この論文は、大規模言語モデル（LLM）が自動プログラム修復（APR）にどのように用いられているかを初めて系統的にレビューし、2020年から2025年9月までの189件の論文を分析します。

ABSTRACT

Automated Program Repair (APR) attempts to patch software bugs and reduce manual debugging efforts. Very recently, with the advances in Large Language Models (LLMs), an increasing number of APR techniques have been proposed, facilitating software development and maintenance and demonstrating remarkable performance. However, due to ongoing explorations in the LLM-based APR field, it is challenging for researchers to understand the current achievements, challenges, and potential opportunities. This work provides the first systematic literature review to summarize the applications of LLMs in APR between 2020 and 2025. We analyze 189 relevant papers from LLMs, APR and their integration perspectives. First, we categorize existing popular LLMs that are applied to support APR and outline four types of utilization strategies for their deployment. Besides, we detail some specific repair scenarios that benefit from LLMs, e.g., semantic bugs and security vulnerabilities. Furthermore, we discuss several critical aspects of integrating LLMs into APR research, e.g., input forms and open science. Finally, we highlight a set of challenges remaining to be investigated and the potential guidelines for future research. Overall, our paper provides a systematic overview of the research landscape to the APR community, helping researchers gain a comprehensive understanding of achievements and promote future research.

研究の動機と目的

• 2020年から2025年にかけて、LLMsがAPRにどのように適用されてきたかを要約する。
• モデルタイプ、統合戦略、実務上の考慮事項を含む、LLMの利用状況の全体像を分析する。
• LLMsが利点をもたらす修復シナリオを特定し、今後の課題やギャップを強調する。

提案手法

• 準金標準検索とスノーボール法を用いて189件の関連論文を収集する。
• 論文をLLMタイプ、APRタスク、統合アプローチで分類する。
• 刊行会場、言語、貢献に関する傾向分析を行う。
• 10問の基準チェックリストを用いて品質を評価し、品質基準を満たすarXiv論文を含める。
• 公開リポジトリを通じて再現性アーティファクトを提供する。

実験結果

リサーチクエスチョン

• RQ1 RQ1：LLMsを活用するAPR研究の傾向はどうですか？
• RQ2 RQ2：APRをサポートするために適用された代表的なLLMはどれですか？
• RQ3 RQ3：LLMsによって促進された修復シナリオは何ですか？
• RQ4 RQ4：APRにおけるLLMの統合に寄与する主要な要因は何ですか？

主な発見

• LLMsは2020年以降、APRにおける一般的なアプローチとなっており、2024年には66件、累積的な傾向は2025年末までに210件超を示唆しています。
• 会場別ではICSEが最多の26件を占め、トップクラスのSE会場が支配的で、AI/PL/セキュリティ会場と併せて分野横断的な関心を示しています。
• JavaとPythonが最も対象言語ですが、LLMベースのAPRは24言語をカバーし、あまり一般的でない言語の修復を可能にします。
• 本レビューはAPR研究で使用された78のLLMsを特定し、貢献を新技術、経験的研究、ベンチマーク、人間研究に分類します。
• 厳格な品質評価は研究を精査し、基準を満たすarXiv論文を含めて信頼性を保証する。