[論文レビュー] Towards an automated approach for bug fix pattern detection

Fernanda Madeiral, Thomas Durieux+2 more|arXiv (Cornell University)|Jul 30, 2018

Software Testing and Debugging Techniques参考文献 7被引用数 15

ひとこと要約

本稿では、GumTreeとSpoonを用いて抽象構文木（AST）差分を分析することで、Javaのバグ修正における修復パターンを自動で検出するツールPPDを提示する。Defects4J上で評価した結果、PPDは91%の精度と92%の再現率を達成し、手作業による分析と同等の高い性能を示し、プログラム修復研究におけるバグデータセットのスケーラブルな特徴付けを可能にする。

ABSTRACT

The characterization of bug datasets is essential to support the evaluation of automatic program repair tools. In a previous work, we manually studied almost 400 human-written patches (bug fixes) from the Defects4J dataset and annotated them with properties, such as repair patterns. However, manually finding these patterns in different datasets is tedious and time-consuming. To address this activity, we designed and implemented PPD, a detector of repair patterns in patches, which performs source code change analysis at abstract-syntax tree level. In this paper, we report on PPD and its evaluation on Defects4J, where we compare the results from the automated detection with the results from the previous manual analysis. We found that PPD has overall precision of 91% and overall recall of 92%, and we conclude that PPD has the potential to detect as many repair patterns as human manual analysis.

研究の動機と目的

• ソフトウェアバグ修正における修復パターンの検出を自動化し、時間のかかる手作業分析への依存を低減すること。
• 修復パターンの特性に基づいてバグを選択可能にするなど、自動プログラム修復ツールのより堅牢な評価を支援すること。
• 異なるデータセット間での修復結果とバグの特徴の相関分析を容易にすること。
• データセットの構造的構成と潜在的なバイアスを明らかにすることで、異なるバグデータセット同士の比較分析を可能にすること。
• 再現可能でスケーラブルなパッチ分析をプログラム修復研究に支援する、公開可能なツールを提供すること。

提案手法

• PPDは、微細なソースコード差分を実行するGumTreeアルゴリズムを用いて、バグのあるコードと修正済みコードからASTレベルの編集スクリプトを取得する。
• Spoon（Javaソースコード解析ライブラリ）を用いてAST差分を分析し、ノードレベルでの構造的変更を検出する。
• 単一の行の変更、nullチェックの欠落、条件ブロックの追加など9つのカテゴリに分類された25の事前定義済み修復パターンの検出ロジックを実装する。
• 挿入、削除、移動などのコード要素の構文的および構造的特徴に基づいて、ASTノードの変更を検出する。
• 各パターンのインスタンスをAST差分内で特定するため、ルールベースのマッチング戦略を採用する。
• 評価では、Defects4Jの400件のパッチを手作業でアノテートしたデータセットと照合してPPDの出力を比較する。

実験結果

リサーチクエスチョン

• RQ1 自動化されたツールは、人間の分析と同等の精度と再現率でバグ修正における修復パターンを検出できるか？
• RQ2 PPDの性能は、Defects4Jデータセット内の異なる修復パターングループでどのように変動するか？
• RQ3 自動検出は、大規模なバグデータセットを特徴付けるために必要な作業をどの程度削減できるか？
• RQ4 自動検出における主な誤り要因は何か。また、それらは人間のミスと比べてどう異なるか？
• RQ5 PPDは、既存のデータセット内で以前に発見されていなかった修復パターンのインスタンスを同定できるか？

主な発見

• PPDは、Defects4Jデータセット上で修復パターンを検出する際、全体で91%の精度と92%の再現率を達成した。
• PPDは、以前の手作業分析で同定されなかった90件の修復パターンインスタンスを検出した。
• 人間のアナリストは合計24件の誤りを犯したが、PPDは73件の誤りを犯した。一方、人間アナリストは独自のパターンインスタンスを65件、PPDは90件をそれぞれ見逃した。
• Nullチェックの欠落のような特定のパターンに関しては、PPDが再現率の面で人間の検出を上回った。
• ツールは事前に定義された分類に含まれる9つの修復パターングループをすべて正しく検出でき、広範なカバレッジを示した。
• GumTreeの複雑な変更（例：コードの再順序化やネストされた変更）における不正確なASTマッピングが、PPDの性能に悪影響を及えた。