[論文レビュー] A Random Walk Based Algorithm for Structural Test Case Generation

Jifeng Xuan, He Jiang+3 more|arXiv (Cornell University)|Apr 16, 2017

Software Testing and Debugging Techniques参考文献 25被引用数 6

ひとこと要約

この論文では、構造的テストケース生成のためのランダムウォークベースのアルゴリズムであるWalkTestを提案する。テスト生成を最適化問題として定式化し、制御フローフレームワーク依存性ではなく、解決コストに基づくテストゴールの優先順位付けにより、探索効率を向上させ、従来のランダムテストやタブーサーチと比較して実行時間を短縮し、条件意思決定カバレッジを向上させた。

ABSTRACT

Structural testing is a significant and expensive process in software development. By converting test data generation into an optimization problem, search-based software testing is one of the key technologies of automated test case generation. Motivated by the success of random walk in solving the satisfiability problem (SAT), we proposed a random walk based algorithm (WalkTest) to solve structural test case generation problem. WalkTest provides a framework, which iteratively calls random walk operator to search the optimal solutions. In order to improve search efficiency, we sorted the test goals with the costs of solutions completely instead of traditional dependence analysis from control flow graph. Experimental results on the condition-decision coverage demonstrated that WalkTest achieves better performance than existing algorithms (random test and tabu search) in terms of running time and coverage rate.

研究の動機と目的

• ソフトウェア開発における構造的テストケース生成の高コストと複雑さに対処すること。
• SATソルブィングからのランダムウォーク技術を活用して、自動テストケース生成の効率を向上させること。
• 制御フローグラフ解析への依存度を低減するため、テストゴールのコストベースの優先順位付けを導入すること。
• 最適化されたテストゴール順序により、構造的テストにおける探索効率とカバレッジ率を向上させること。
• 提案手法の性能を、ランダムテストやタブーサーチといった既存手法と比較して評価すること。

提案手法

• アルゴリズムは、テストゴールを満たすべき制約として扱うことで、構造的テストケース生成を最適化問題として定式化する。
• ランダムウォーク作用素を用いて、反復的にテストゴールを満たす方向へ探索空間を探索する。
• 従来の制御フローフレームワーク依存性ではなく、解決コストの推定値に基づいてテストゴールを優先順位付けする。
• フレームワークは、テストケースの改善を図るために、ランダムウォーク作用素を繰り返し適用する。
• コストベースのソーティングにより、より有望な探索経路に注力され、収束速度が向上する。
• 実世界のソフトウェアベンチマークを用いて、条件意思決定カバレッジを主な指標として評価する。

実験結果

リサーチクエスチョン

• RQ1 ランダムウォークベースのアプローチは、従来の探索ベースの手法に比べ、構造的テストケース生成において優れているか。
• RQ2 テストゴールのコストベースの優先順位付けは、制御フローベースの分析に比べ、探索効率を向上させるか。
• RQ3 WalkTestは、ランダムテストやタブーサーチと比較して、カバレッジ率と実行時間の点で優れているか。
• RQ4 SATソルブィングからのランダムウォークヒューリスティクスをソフトウェアテスト生成に効果的に適応できるか。
• RQ5 テストゴールの順序付けが、テストケース生成の収束速度と有効性に与える影響は何か。

主な発見

• WalkTestは、評価されたベンチマークにおいて、ランダムテストやタブーサーチよりも高い条件意思決定カバレッジ率を達成した。
• 平均実行時間を両基準手法と比較して短縮し、効率性の向上を示した。
• コストベースのテストゴールソーティングにより、高インパクトのテスト目的に注力されたため、収束が速くなった。
• ランダムウォーク作用素の使用により、網羅的探索を伴わずに、テスト入力空間を効果的に探索できた。
• 実験結果から、提案手法がカバレッジおよびパフォーマンス指標の両面で、既存のアルゴリズムを上回ることが確認された。
• 評価において、複数のソフトウェアモジュールにわたり、スケーラビリティとロバストネスを示した。