[論文レビュー] SelfAPR: Self-supervised Program Repair with Test Execution Diagnostics

He Ye, Matías Martínez+3 more|arXiv (Cornell University)|Mar 23, 2022

Software Testing and Debugging Techniques被引用数 10

ひとこと要約

SelfAPRは、過去のプログラムバージョンを変更してプロジェクト固有のトレーニングサンプルを生成し、テスト実行の診断情報を入力表現に組み込むことで、修復をガイドする自己教師付きプログラム修復フレームワークを提案する。Defects4Jのバグに対して110件の修復を達成し、ドメイン固有の知識と障害タイプの認識の欠如という課題を解消することで、従来の教師あり学習ベースのアプローチをすべて上回った。

ABSTRACT

Learning-based program repair has achieved good results in a recent series of papers. Yet, we observe that the related work fails to repair some bugs because of a lack of knowledge about 1) the application domain of the program being repaired, and 2) the fault type being repaired. In this paper, we solve both problems by changing the learning paradigm from supervised training to self-supervised training in an approach called SelfAPR. First, SelfAPR generates training samples on disk by perturbing a previous version of the program being repaired, enforcing the neural model to capture projectspecific knowledge. This is different from the previous work based on mined past commits. Second, SelfAPR executes all training samples and extracts and encodes test execution diagnostics into the input representation, steering the neural model to fix the kind of fault. This is different from the existing studies that only consider static source code as input. We implement SelfAPR and evaluate it in a systematic manner. We generate 1 039 873 training samples obtained by perturbing 17 open-source projects. We evaluate SelfAPR on 818 bugs from Defects4J, SelfAPR correctly repairs 110 of them, outperforming all the supervised learning repair approaches.

研究の動機と目的

• 教師ありニューラルプログラム修復におけるプロジェクト固有の知識の欠如を是正すること。これは、ドメイン固有のトークンへの一般化を制限する。
• トレーニングデータに障害タイプ情報が欠落していることによる課題を克服すること。これにより、NullPointerExceptionsのような特定のバグカテゴリの修復が困難になる。
• 外部のコミットを抽出するのではなく、過去のコミットを用いて合成的でプロジェクトに特化したトレーニングサンプルを生成する自己教師付きトレーニングの枠組みを構築すること。
• テスト実行からのランタイム診断を入力表現に統合し、特定の障害タイプの修復をモデルがガイドできるようにすること。
• 自己教師付き学習が、特に従来の教師ありモデルでは修復できなかった実世界のベンチマークにおけるプログラム修復にどの程度効果的かを評価すること。

提案手法

• SelfAPRは、修復対象のプログラムの過去バージョンを体系的に摂動することで、1,039,873件のトレーニングサンプルを生成し、トレーニングデータにプロジェクト固有のトークンが含まれることを保証する。
• フレームワークは、生成されたすべてのトレーニングサンプルを実行し、実行時例外やアサーションエラーなどのテスト実行診断を収集する。これらの診断は入力表現にエンコードされる。
• テスト実行診断は、ニューラルモデルの追加入力トークンとして埋め込まれ、修復予測時に障害タイプの信号を提供する。
• 自己教師付きトレーニングループにより、外部のコミットに依存せずに、摂動を加えた過去バージョンをトレーニングデータのソースとして使用する。
• モデルは、ソースコードと診断信号の両方を強化した入力表現を用いたエンコーダ・デコーダアーキテクチャを採用し、正しいパッチを予測する。
• このアプローチは、SentencePieceのトークン化を活用し、合成データセット上で事前学習済みモデルを微調整することで、未観測のバグへの一般化を向上させる。

実験結果

リサーチクエスチョン

• RQ1 プロジェクト固有の摂動と自己教師付き学習を組み合わせることで、過去のコミットを抽出して学習する教師あり学習を上回るプログラム修復が可能になるか？
• RQ2 入力表現にテスト実行診断を組み込むことで、特定の障害タイプの修復能力が向上するか？
• RQ3 従来の教師ありニューラル修復モデルが、プロジェクト固有のトークン（例：requiresLevel.isOn()）がトレーニングデータに存在しないために失敗したバグをSelfAPRは修復できるか？
• RQ4 標準ベンチマークにおいて、SelfAPRは最先端の教師あり学習ベースの修復ツールと比較してどの程度の性能を示すか？
• RQ5 実行診断の組み込みが、修復精度と障害タイプへの一般化にどの程度寄与するか？

主な発見

• SelfAPRは、Defects4Jベンチマークの818件のバグのうち110件を修復し、すべての従来の教師あり学習ベースの修復アプローチを上回った。
• 過去の手法が失敗した110件のバグを修復した。特に、requiresLevel.isOn()のようなプロジェクト固有のトークンを必要とするバグも、それらが過去のシステムのトレーニングデータに存在しなかったにもかかわらず修復できた。
• テスト実行診断の活用により、静的コードに依存するモデルがしばしば見逃すNullPointerExceptionsなどの障害タイプを同定・修復できるようになった。
• 自己教師付きトレーニングループにより、17のオープンソースプロジェクトから1,039,873件のトレーニングサンプルが生成され、モデルに豊富なプロジェクト固有の知識が埋め込まれた。
• 診断を入力に統合することで、SelfAPRは特定の障害カテゴリの修復に向かせるようモデルを誘導し、精度と一般化能力が向上した。
• 実行フィードバックを用いた自己教師付きデータ生成は、実世界のコミットを抽出する手法よりも、ニューラルプログラム修復においてより効果的であると示された。