[論文レビュー] Human-in-the-Loop Fault Localisation Using Efficient Test Prioritisation of Generated Tests.

Gabin An, Shin Yoo|arXiv (Cornell University)|Apr 14, 2021

Software Testing and Debugging Techniques参考文献 50被引用数 4

ひとこと要約

QFiD は、結果に配慮したメトリクスを用いて生成されたテストケースの優先順位をつけることで、最小限の人的作業で精度を向上させる人間を含む故障局所化手法である。10回の人的ラベル付けのみで、トップ1位での故障局所化精度が27%、上位10位以内での精度が66%に達し、初期のテストケースのみを用いた場合と比べて13倍および2倍の向上を達成した。

ABSTRACT

Many existing fault localisation techniques become less effective or even inapplicable when not adequately supported by a rich test suite. To overcome this challenge, we present a human-in-the-loop fault localisation technique, QFiD, that works with only a small number of initial failing test cases. We augment the failing test cases with automatically generated test data and elicit oracles from a human developer to label the test cases. A new result-aware test prioritisation metric allows us to significantly reduce the labelling effort by prioritising the test cases to achieve maximum localisation accuracy. An evaluation with EvoSuite and our test prioritisation metric shows that QFiD can significantly increase the localisation accuracy. After only ten human labellings, QFiD can localise 27% and 66% of real-world faults in Defects4J at the top and within the top ten, respectively. This is a 13 and 2 times higher performance than when using the initial test cases. QFiD is also resilient to human errors, retaining 80% of its acc@1 performance on average when we introduce a 30% error rate to the simulated human oracle.

研究の動機と目的

• 効果的な故障局所化を実現するには大規模で豊富なテストスイートを必要とする既存の故障局所化手法の限界を解消すること。
• 初期の失敗するテストケースがわずかである場合でも、効果的な故障局所化を可能にすること。
• オラクルの抽出のためのテストケースを知的に優先順位付けすることで、人的ラベル付けの作業負荷を低減すること。
• 限られたテストカバレッジと人的誤りの可能性がある現実世界のシステムにおいても、故障局所化精度を向上させること。

提案手法

• Eボシュート（EvoSuite）を用いて、初期の失敗するテストケースに自動的に生成されたテストデータを追加する。
• 開発者から、テストケースを成功または失敗としてラベル付けするためのオラクルを抽出するが、優先順位付けされたケースに焦点を当てる。
• 故障局所化精度への期待される貢献度に基づいてテストケースをランク付けする、結果に配慮したテストケース優先順位付けメトリクスを導入する。
• 反復的にこの優先順位付けメトリクスを適用し、人的ラベル付けに最も有益なテストケースを選択する。
• ラベル付けされたテストケースを用いて、統計的分析により故障局所化の結果を精緻化する。
• 人的誤りの発生確率をシミュレートして、手法の耐性とレジリエンスを評価する。

実験結果

リサーチクエスチョン

• RQ1 人的ラベル付けの作業負荷を最小限に抑えながら、人間を含むアプローチが故障局所化精度を著しく向上させられるか。
• RQ2 結果に配慮したテストケース優先順位付けは、人的オラクルラベルの必要数をどの程度削減できるか。
• RQ3 QFiD は現実的な人的誤りの条件下でも、どの程度の性能を維持できるか。
• RQ4 QFiD の性能は、初期の失敗するテストケースのみに依存するベースライン手法と比べてどうか。
• RQ5 QFiD は、Defects4J のような産業用システムにおける実際のソフトウェア障害に、効果的にスケーリングできるか。

主な発見

• わずか10回の人的ラベル付けの後、QFiD は Defects4J の実世界の障害の27%をランキング上位1位に局所化できた。これは、初期の失敗するテストケースのみを用いた場合と比べて13倍の向上である。
• 10回のラベル付け後、QFiD は上位10位以内での故障局所化精度を66%に達成し、ベースラインと比べて2倍の向上を示した。
• 人的誤りに対しても耐性があり、オラクルラベルに30%の誤り率をシミュレートした場合でも、平均で acc@1 の80%の性能を維持した。
• 結果に配慮したテストケース優先順位付けメトリクスは、最も情報価値の高いテストケースに焦点を当てるため、人的ラベルの必要数を効果的に削減できた。
• QFiD は、初期の失敗するテストケースのみに依存するベースライン手法を著しく上回り、特にテストスイートが少ない状況下で顕著な優位性を示した。
• テストスイートが限られている一方で人的作業が高コストである現実世界のソフトウェア保守において、本手法は強く実用的であることが示された。