[論文レビュー] Automated Repair of Programs from Large Language Models

Zhiyu Fan, Xiang Gao+3 more|arXiv (Cornell University)|May 21, 2022

Software Engineering Research被引用数 9

ひとこと要約

この論文は、大規模言語モデル（例：Codex）によって生成されたコードの信頼性を向上させるために、自動プログラム修復（APR）技術が有効かどうかを調査する。特に、コンペティティブプログラミングの文脈において、APRツール、特にCodexの編集モードが、故障局所化の支援を受けることで、多くのバグを効果的に修正できることを発見した。これは、言語モデルとAPRを統合することで、コードの品質と耐障害性を著しく向上できる可能性を示唆している。

ABSTRACT

Large language models such as Codex, have shown the capability to produce code for many programming tasks. However, the success rate of existing models is low, especially for complex programming tasks. One of the reasons is that language models lack awareness of program semantics, resulting in incorrect programs, or even programs which do not compile. In this paper, we systematically study whether automated program repair (APR) techniques can fix the incorrect solutions produced by language models in LeetCode contests. The goal is to study whether APR techniques can enhance reliability in the code produced by large language models. Our study revealed that: (1) automatically generated code shares common programming mistakes with human-crafted solutions, indicating APR techniques may have potential to fix auto-generated code; (2) given bug location information provided by a statistical fault localization approach, the newly released Codex edit mode, which supports editing code, is similar to or better than existing Java repair tools TBar and Recoder in fixing incorrect solutions. By analyzing the experimental results generated by these tools, we provide several suggestions: (1) enhancing APR tools to surpass limitations in patch space (e.g., introducing more flexible fault localization) is desirable; (2) as large language models can derive more fix patterns by training on more data, future APR tools could shift focus from adding more fix patterns to synthesis/semantics based approaches, (3) combination of language models with APR to curate patch ingredients, is worth studying.

研究の動機と目的

• 大規模言語モデル（例：Codex）によって自動生成されたコードに見られるバグの種類を分析すること。
• 既存の自動プログラム修復（APR）ツール（TBarとRecoder）が、LLMによって生成されたコードのバグを修復する効果性を評価すること。
• Codexの編集モード（Codex-e）が、自動生成プログラムを修復するための新しいAPR技術としての性能を評価すること。
• 言語モデルとAPRを統合することで、より良いパッチ生成と故障局所化を実現し、コード品質を向上させる可能性を検討すること。
• 現在のAPRアプローチにおける主な制限を特定し、LLM生成コードの修復可能性を向上させるための今後の研究方向を提案すること。

提案手法

• LeetCodeから113のプログラミング課題を収集し、Codexを用いて解答を生成することで、LMDefectsデータセットを構築した。
• 統計的故障局所化（SFL）を適用して、誤りのある解答におけるバグの可能性が高い場所を特定し、APRツールの支援となる情報を提供した。
• テストスイートを用いて、従来のAPRツール（TBarとRecoder）がCodexによって生成されたコードのバグを修復できるかを評価した。
• Codex-eをブラックボックス修復ツールとして使用し、自然言語の指示とバグの位置のヒントを提示することでパッチを生成した。
• 故障局所化の支援がある・ないという状況を変えて、TBar、Recoder、Codex-eの修復成功率を比較した。
• パッチの特徴とバグのパターンを分析し、LLM生成コードにおける繰り返し発生する欠陥と修復の難易度を特定した。

Figure 1: The workflow of automatically fixing programs generated by Codex

実験結果

リサーチクエスチョン

• RQ1 大規模言語モデル（例：Codex）によって生成されたコードに、一般的にどのような種類のバグが生じるか？
• RQ2 従来のパターンベースおよび学習ベースのAPRツール（例：TBar、Recoder）は、LLM生成コードのバグをどの程度効果的に修復できるか？
• RQ3 Codexの編集モード（Codex-e）は、大規模言語モデルが生成した誤ったソリューションを修復する面で、従来のAPRツールを上回ることができるか？
• RQ4 故障局所化情報の有無が、Codex-eが生成するパッチの品質と成功率にどのように影響するか？
• RQ5 現在のAPR技術がLLM生成コードに適用された際の主な制限は何か。今後のAPR研究は、言語モデルの能力をどのように活用して進化させることができるか？

主な発見

• Codexによって生成されたコードの57％のバグはアルゴリズム的であり、11％は構文エラーである。これは、LLMが人間のプログラマーと同様のミスを犯すことを示している。
• 13.4％のバグは小さな変更（例：演算子や変数の置き換え）で修正可能であり、18.5％はより大きなコード変更を要する。これは、修復の複雑さが顕著であることを示している。
• 故障局所化の支援を受けると、Codex-eはTBarおよびRecoderを上回る性能を示し、より高い修復成功率を達成した。
• 明示的な故障位置の提示がなくても、Codex-eは従来のAPRツールと同等またはそれ以上の性能を示した。これは、柔軟な修復メカニズムとしての強力な潜在能力を示している。
• 既存のAPRツールは、探索空間が限定的であること、マルチエディットパッチの生成が不可能であること、プログラム依存関係への認識が乏しいことから、スケーラビリティと表現力の面で主な制限を抱えている。
• 本研究では、今後のAPR研究において、故障局所化の柔軟性を高めるとともに、大規模なコード生成データから自動的に修復パターンを収集するための言語モデルの活用を重視すべきであると同定した。

Figure 7: The repair results of different APR tools