[論文レビュー] Variable-Based Fault Localization via Enhanced Decision Tree

Jiajun Jiang, Yumeng Wang+3 more|arXiv (Cornell University)|Nov 21, 2022

Software Engineering Research被引用数 5

ひとこと要約

本稿では、変数値に基づいて失敗したテスト実行と成功したテスト実行を区別することで、障害関連変数を特定する、プログラム依存関係を強化した意思決定木を用いた新しい変数レベルのバグ局所化手法VarDTを提案する。Defects4J上で評価した結果、最先端の手法と比較して、Top-1でのバグ局所化において最低でも247.8%、平均で330.5%の向上を達成し、誤ったパッチの除去においてPATCH-SIMを26.0%上回る性能を示した。

ABSTRACT

Fault localization, aiming at localizing the root cause of the bug under repair, has been a longstanding research topic. Although many approaches have been proposed in the last decades, most of the existing studies work at coarse-grained statement or method levels with very limited insights about how to repair the bug (granularity problem), but few studies target the finer-grained fault localization. In this paper, we target the granularity problem and propose a novel finer-grained variable-level fault localization technique. Specifically, we design a program-dependency-enhanced decision tree model to boost the identification of fault-relevant variables via discriminating failed and passed test cases based on the variable values. To evaluate the effectiveness of our approach, we have implemented it in a tool called VARDT and conducted an extensive study over the Defects4J benchmark. The results show that VARDT outperforms the state-of-the-art fault localization approaches with at least 247.8% improvements in terms of bugs located at Top-1, and the average improvements are 330.5%. Besides, to investigate whether our finer-grained fault localization result can further improve the effectiveness of downstream APR techniques, we have adapted VARDT to the application of patch filtering, where VARDT outperforms the state-of-the-art PATCH-SIM by filtering 26.0% more incorrect patches. The results demonstrate the effectiveness of our approach and it also provides a new way of thinking for improving automatic program repair techniques.

研究の動機と目的

• ステートメントやメソッドレベルといった粗い粒度ではなく、変数レベルの障害特定を対象とすることで、バグ局所化における粒度の問題を解決すること。
• より高精度で効果的な自動プログラム修復（APR）を実現するため、より細粒度のバグ局所化結果を提供すること。
• 開発者の関与なしに、プログラム依存関係と意思決定木を活用して、障害関連変数を特定する完全自動的かつスケーラブルな手法を開発すること。
• VarDTのバグ局所化および下流のパッチフィルタリング応用における有効性を評価すること。

提案手法

• 失敗したテスト実行と成功したテスト実行の間の変数値の差異を分析することで、障害関連変数を特定する意思決定木モデルを構築する。
• プログラムスイーピングと依存関係解析を含む静的プログラム解析を意思決定木に統合することで、スケーラビリティと正確性を向上させる。
• テスト実行全体における変数値のパターンを入力特徴量として用い、失敗を引き起こす変数状態を区別するための意思決定木を学習する。
• プログラム依存関係を統合して特徴選択を支援し、検索空間を縮小し、失敗に強い因果関係を持つ変数に焦点を当てる。
• Defects4Jベンチマーク上でエンドツーエンドの評価を実施するためのツールVarDTを実装する。
• 障害関連変数プロファイルを用いてパッチの正しさを評価することで、VarDTをパッチフィルタリングに適応する。

実験結果

リサーチクエスチョン

• RQ1 変数値の差異を失敗したテスト実行と成功したテスト実行の間で分析することにより、意思決定木モデルは障害関連変数を効果的に特定できるか？
• RQ2 プログラム依存関係を統合することで、変数レベルのバグ局所化のスケーラビリティと正確性はどの程度向上するか？
• RQ3 VarDTは、最先端のバグ局所化手法と比較して、Top-1バグ局所化正確性においてどのように優れているか？
• RQ4 VarDTのより細粒度のバグ局所化結果は、自動プログラム修復における下流のパッチフィルタリングの有効性を向上させることができるか？

主な発見

• VarDTは、Defects4Jベンチマーク上で、最先端の手法と比較して、Top-1での正しい障害関連変数の局所化において最低でも247.8%の向上を達成した。
• 平均して、VarDTはすべての評価対象バグにおいてTop-1バグ局所化正確性を330.5%向上させた。
• パッチフィルタリングに適応した場合、VarDTは誤ったパッチの69.4%を効果的に除外し、最先端のPATCH-SIMを26.0%上回った。
• プログラム依存関係解析の統合により、モデルが関連する変数に焦点を当てる能力が著しく向上し、無関係なノイズの影響を低減した。
• 結果から、変数レベルのバグ局所化が、下流のAPR手法の正確性を直接的に向上させる意味のあるインサイトを提供することが示された。
• VarDTは完全に自動的であり、従来の変数レベルのバグ局所化手法とは異なり、開発者の関与を必要としない。