[論文レビュー] FPA-Debug: Effective Statistical Fault Localization Considering Fault-proneness Analysis

Farid Feyzi, Esmaeel Nikravan+1 more|arXiv (Cornell University)|Dec 17, 2016

Software Reliability and Analysis Research参考文献 16被引用数 3

ひとこと要約

FPA-Debug は、実行コストを低減し、正確性を向上させるために、弾性ネット回帰を用いた故障感受性に配慮した統計的バグ局所化手法を提案する。予測子のクラスタリングにより偶然的正しさの影響を軽減し、位置依存の正則化を適用することで、シエマンス・スイートにおいて、従来手法を上回る高い正確性で最小限の「バグ予測子」集合を特定する。

ABSTRACT

The aim is to identify faulty predicates which have strong effect on program failure. Statistical debugging techniques are amongst best methods for pinpointing defects within the program source code. However, they have some drawbacks. They require a large number of executions to identify faults, they might be adversely affected by coincidental correctness, and they do not take into consideration fault-proneness associated with different parts of the program code while constructing behavioral models. Additionally, they do not consider the simultaneous impact of predicates on program termination status. To deal with mentioned problems, a new fault-proneness-aware approach based on elastic net regression, namely FPA-Debug has been proposed in this paper. FPA-Debug employs a clustering-based strategy to alleviate coincidental correctness in fault localization and finds the smallest effective subset of program predicates known as bug predictors. Moreover, the approach considers fault-proneness of code during statistical modeling through applying different regularization parameter to each program predicates depending on its location within program source code. The experimental results on well-known test suite, Siemens, reveal the effectiveness and accuracy of the FPA-Debug.

研究の動機と目的

• 統計的バグ局所化の限界、特に高い実行コストと偶然的正しさへの感受性を解消すること。
• コード領域の故障感受性を統計モデルに組み込むために、場所に応じた正則化パラメータを割り当てること。
• プログラムの障害と強く相関する最小限の予測子集合「バグ予測子」を特定すること。
• 複数の予測子がプログラム終了状態に与える同時的影響をモデル化することで、バグ局所化の正確性を向上させること。
• 大規模なテストスイートへの依存を減らすために、クラスタリングと適応的正則化による感度と正確性の向上を図ること。

提案手法

• FPA-Debug は、プログラムの予測子と障害結果の関係をモデル化するために弾性ネット回帰を採用し、特徴選択と安定性の両立を図る。
• 類似した挙動を示す予測子をクラスタリングすることで、テスト結果における偶然的正しさの影響を軽減する。
• 故障感受性は、ソースコード上の位置に応じて異なる正則化パラメータを予測子に割り当てることでモデル化され、より故障しやすい領域が優先される。
• 弾性ネットモデルの反復的最適化を通じて、障害を最も示唆する最小限の「バグ予測子」集合を同定する。
• 本手法は、複数の予測子が同時にプログラム終了状態に与える影響を統合的に考慮することで、バグ局所化の正確性を向上させる。
• 実験的評価では、シエマンス・スイートを用いて、ベースラインの統計的バグ局所化手法との性能を検証する。

実験結果

リサーチクエスチョン

• RQ1 故障感受性を統計的バグ局所化に組み込むことで、バグ予測の正確性が向上するか？
• RQ2 予測子のクラスタリングは、バグ局所化における偶然的正しさの影響をどのように軽減するか？
• RQ3 コードの場所に基づく適応的正則化は、どの程度バグ局所化の正確性を向上させるか？
• RQ4 障害を信頼性高く特定できる最小有効な予測子集合（バグ予測子）は何か？
• RQ5 FPA-Debug は、従来の統計的バグ局所化手法と比較して、実行コストと正確性の面でどのように異なるか？

主な発見

• FPA-Debug は、高影響度の予測子に焦点を当てることで、必要なテスト実行回数を著しく削減し、効率性を向上させる。
• クラスタリング戦略は、偶然的正しさの影響を効果的に軽減し、より信頼性の高いバグ局所化結果をもたらす。
• 故障感受性に基づく適応的正則化により、分析時に懸念されるコード領域を優先することで、モデルの正確性が向上する。
• シエマンス・スイートにおいて、標準的な統計的バグ局所化手法よりも、故障のある予測子を識別する正確性が高くなる。
• FPA-Debug は、プログラム障害と強く相関する少数の効果的予測子集合「バグ予測子」を効果的に同定する。
• 実証的結果から、故障感受性とクラスタリングの統合が、統計的バグ局所化の正確性と頑健性の両方を向上させることを示している。