[論文レビュー] Automated Fault Localization Using Potential Invariants

Brock Pytlik, Manos Renieris+2 more|ArXiv.org|Oct 18, 2003

Software Testing and Debugging Techniques参考文献 5被引用数 110

ひとこと要約

本論文は、実行トレースから静的に導出されたプログラム不変条件（潜在的不変条件）を用いて、失敗した実行と成功した実行のモデルを対比させることでバグを特定する自動故障局所化手法を提案する。理論的基盤は有望であるが、実験では限定的な有効性が示され、print_tokensでは484件の不正な実行のうち1件のみが意味のある不変条件の差を示し、tcasではそのような差が一切得られなかった。これは、潜在的不変条件だけでは、より豊かな不変条件集合や分野特化のチューニングがなければ、頑健な故障局所化ができないことを示唆している。

ABSTRACT

We present a general method for fault localization based on abstracting over program traces, and a tool that implements the method using Ernst's notion of potential invariants. Our experiments so far have been unsatisfactory, suggesting that further research is needed before invariants can be used to locate faults.

研究の動機と目的

• プログラムトレースと不変条件を用いた自動故障局所化の一般化手法の開発。
• 成功した実行のモデルと対比させることで、プログラマーがバグを特定できるようにすること。
• 等価性、和、小なりの関係といった関係スキーマから導出される潜在的不変条件を用いた、ソフトウェアバグの特定可能性の評価。
• 正常な実行と不正な実行の間の不変条件の差が、実際にバグを的確に特定できるかの評価。

提案手法

• 正常および不正な入力の両方の実行トレース収集のため、Daikonのインストルメンテーションツールを用いてソースコードを変更する。
• 等価性、和、小なり、定数等価性といった事前に定義された関係スキーマを用いて、トレースから潜在的不変条件を抽出する。
• 複数回の成功した実行からのスペクトル（生存不変条件）の共通部分を計算することで、正しい動作のモデルを構築する。
• 失敗した実行のスペクトルを正常実行のモデルと比較し、故障を示唆する可能性のある不変条件の差を特定する。
• 誤検出を減らすために、値集合およびペアド値集合を用いて変数の値の範囲を追跡する。
• Siemensスイートの実世界プログラム（tcas および print_tokens）に手動で不具合を挿入し、この手法を適用する。

実験結果

リサーチクエスチョン

• RQ1 プログラムトレースから導出される潜在的不変条件は、ソフトウェアバグの局所化に効果的に機能するか？
• RQ2 失敗した実行のスペクトルと成功実行のモデルを対比させることで、実際にバグを示唆する意味のある差が得られるか？
• RQ3 より多くの成功実行が追加されるにつれて、正常実行のモデルはどの程度安定するか？
• RQ4 この手法が生成する不変条件の差は、実際に発生したバグと意味的に関連しているか？

主な発見

• 関係的不変条件については、正常実行のモデルが速やかに安定するが、値集合は数百回の実行を経ても依然として増加を続けるため、収束が悪いことが示された。
• tcasスイートの568件の不正な実行のうち、正常実行の定常状態モデルと比較しても、いずれの実行からも不変条件の差が得られなかった。
• print_tokensスイートでは、484件の不正な実行のうち1件のみが不変条件の差を示し、その差は実際に発生したバグとは無関係であった。
• print_tokensに手動で挿入した不具合は、正常に2つの関連する不変条件違反を引き起こし、制御された状況ではこの手法の可能性を示した。
• 多数の実際のバグが検出されなかったことから、現在の不変条件スキーマのセットでは、汎用的な故障局所化に不十分であることが示された。
• 結果から、潜在的不変条件だけでは信頼性のある故障局所化が不十分であり、より豊かな不変条件集合や分野特化の適応に関するさらなる研究が求められる。