[論文レビュー] RAP-Gen: Retrieval-Augmented Patch Generation with CodeT5 for Automatic Program Repair

Weishi Wang, Yue Wang+2 more|arXiv (Cornell University)|Sep 12, 2023

Software Engineering Research被引用数 4

ひとこと要約

RAP-Gen は、コードベースから関連する修正パターンを取得することで、CodeT5に依存するパッチ生成を強化するリtrieval増強型フレームワークである。ハイブリッドな語彙的・意味的リtrieverと統一的な CodeT5 ベースモデルを統合することにより、JavaScript および Java のベンチマークにおいて修理精度が向上し、TFix では 54.15% の修理率を達成し、Defects4J では前人最高の手法よりも 15 個多くの修正を実現するなど、最先端の結果を達成した。

ABSTRACT

Automatic program repair (APR) is crucial to reduce manual debugging efforts for developers and improve software reliability. While conventional search-based techniques typically rely on heuristic rules or a redundancy assumption to mine fix patterns, recent years have witnessed the surge of deep learning (DL) based approaches to automate the program repair process in a data-driven manner. However, their performance is often limited by a fixed set of parameters to model the highly complex search space of APR. To ease such burden on the parametric models, in this work, we propose a novel Retrieval-Augmented Patch Generation framework (RAP-Gen) by explicitly leveraging relevant fix patterns retrieved from a codebase of previous bug-fix pairs. Specifically, we build a hybrid patch retriever to account for both lexical and semantic matching based on the raw source code in a language-agnostic manner, which does not rely on any code-specific features. In addition, we adapt a code-aware language model CodeT5 as our foundation model to facilitate both patch retrieval and generation tasks in a unified manner. We adopt a stage-wise approach where the patch retriever first retrieves a relevant external bug-fix pair to augment the buggy input for the CodeT5 patch generator, which synthesizes a ranked list of repair patch candidates. Notably, RAP-Gen is a generic APR framework that can flexibly integrate different patch retrievers and generators to repair various types of bugs. We thoroughly evaluate RAP-Gen on three benchmarks in two programming languages, including the TFix benchmark in JavaScript, and Code Refinement and Defects4J benchmarks in Java, where the bug localization information may or may not be provided. Experimental results show that RAP-Gen significantly outperforms previous state-of-the-art approaches on all benchmarks, e.g., repairing 15 more bugs on 818 Defects4J bugs.

研究の動機と目的

• パrametricなディープラーニングモデルが自動プログラム修復において負担を軽減するため、明示的で外部の修正パターンを組み込むこと。
• 言語に依存しないハイブリッドリtrieバルメカニズムを用いてコードベースから関連するバグ-修正ペアを取得することで、修理精度を向上させること。
• CodeT5 を基盤モデルとして用いて、パッチのリtrieバルと生成を統合するフレームワークを構築すること。
• 多様な APR ベンチマーク（JavaScript および Java）において、リtrieバル増強生成の有効性を示すこと。
• 開発者に似たデバッグ行動（過去の修正を参照すること）を効果的にモデル化・活用できることを検証すること。

提案手法

• コード固有の特徴を必要とせず、生のソースコード上で語彙的および意味的マッチングを実行するハイブリッドパッチリtrieバを設計し、言語に依存しないリtrieバルを可能にした。
• リtrieバは、歴史的パッチを含むコードベースから、生成器の指針としての信号として最も関連性の高いバグ-修正ペアを特定する。
• CodeT5 を微調整して、リtrieバルと生成の両方のタスクに統一的なモデルとして使用し、共有表現を用いたエンドツーエンドの学習を可能にした。
• 段階的なフレームワークでは、まず関連する修正パターンをリtrieブし、その後そのパターンをバグのある入力に組み込んでから、候補パッチを生成する。
• フレームワークは汎用的であり、さまざまなリtrieバと生成器と統合可能で、バグの種別や言語にかかわらず柔軟に展開可能である。
• リtrieバルはトップ-k戦略を用い、取得した修正パターンをバグコードに連結して生成プロセスをガイドする。

実験結果

リサーチクエスチョン

• RQ1 関連する歴史的修正パターンのリtrieバルは、ディープラーニングベースのプログラム修復モデルの性能を向上させることができるか？
• RQ2 リtrieバル増強アプローチは、多様なベンチマークにおいて、純粋にパrametricなモデルと比較して、修理精度で優れているか？
• RQ3 挿入ブロックやステートメントの削除など、どのような種類の修正パターン（例：挿入ブロック、ステートメント削除）が修復生成を効果的にガイドするか？
• RQ4 リtrieバルメカニズムは、現実の開発者によるデバッグ行動をどの程度反映しているか？
• RQ5 コード固有の特徴を必要とせずに、プログラミング言語やバグの種別を問わず一般化できるか？

主な発見

• JavaScript の TFix ベンチマークにおいて、RAP-Gen は 54.15% の修理精度を達成し、T5-large ベースライン（49.70%）よりも 4.45% の絶対的向上を示した。
• Java の Defects4J ベンチマークにおいて、RAP-Gen は前人最高の手法よりも 15 個多くのバグを修復し、実世界の修復シナリオでの顕著な向上を示した。
• ハイブリッドリtrieバは関連する修正パターンを効果的にリtrieブでき、39 個の難易度の高いバグにおいて、P13（既存のブロックを挿入）と P14（ステートメントを削除）が最も効果的な修正パターンであった。
• ルールベースの修正パターン（例：SelfAPR からのもの）からのリtrieバルにより、従来修復不可能であった 39 個の Defects4J バグに対して CodeT5 の性能が向上し、リtrieバルガイドド生成の価値を裏付けた。
• バグの局所化が提供されていなくても、フレームワークは強固な性能を維持しており、実用的状況での耐障害性を示した。
• アブレーションスタディにより、リtrieバにおける語彙的および意味的マッチングの両方が、リtrieバル品質および下流の修理精度に顕著に寄与することが確認された。