[論文レビュー] Mutation-driven Test Case Generation Using Short-lived Concurrent Mutants -- First Results

Willibald Krenn, Rupert Schlick|arXiv (Cornell University)|Jan 26, 2016

Software Testing and Debugging Techniques参考文献 2被引用数 3

ひとこと要約

本稿では、短命な並列変異体と探索ベースの戦略を活用して、効率的にテストケースを生成するスケーラブルな変異駆動型テストケース生成ツールであるMoMuT::UMLを提示する。本手法は、最大2800個の相互作用するステートマシンを含む産業規模のモデルを効果的に処理し、オーストリアの国営鉄道網のような複雑なシステムへの適用可能性を示している。

ABSTRACT

In the context of black-box testing, generating test cases through model mutation is known to produce powerful test suites but usually has the drawback of being prohibitively expensive. This paper presents a new version of the tool MoMuT::UML (www.momut.org), which implements a scalable version of mutation-driven test case generation (MDTCG). It is able to handle industrial-sized UML models comprising networks of, e.g., 2800 interacting state machines. To achieve the required scalability, the implemented algorithm exploits the concurrency in MDTCG and combines it with a search based generation strategy. For evaluation, we use seven case studies of different application domains with an increasing level of difficulty, stopping at a model of a railway station in Austria's national rail network.

研究の動機と目的

• ブラックボックステストにおける変異駆動型テストケース生成（MDTCG）の高い計算コストを軽減すること。
• 数千の相互作用するコンponentsを含む産業規模のUMLモデルにおけるMDTCGを可能にすること。
• 並列処理と探索ベースの戦略を統合した、効率的なテスト生成を実現するスケーラブルなアルゴリズムを開発すること。
• 段階的に複雑化する実世界の事例に対して本アプローチを評価し、最終的にオーストリア国営鉄道網の鉄道駅モデルにまで応用すること。

提案手法

• 従来のMDTCGの計算オーバーヘッドを低減するために、短命な並列変異体を用いる。
• 効果的な変異体検出に向けたテストケース生成をガイドするため、探索ベースの戦略を統合する。
• 最大2800個の相互作用するステートマシンを含む大規模なUMLモデルにおいてもスケーラブルに動作するようにアルゴリズムを設計する。
• 複数の変異体評価を並列に実行することで、並列処理を活用し、性能を向上させる。
• 産業規模のモデル解析とテスト生成をサポートするため、ツールMoMuT::UMLを実装する。
• 多様な分野にまたがる7つの事例研究を通じて、段階的に複雑化する事例に対して本手法を評価する。

実験結果

リサーチクエスチョン

• RQ1 数千のコンponentsを含む産業規模のUMLモデルに対して、変異駆動型テストケース生成をスケーラブルに実現できるか？
• RQ2 短命な並列変異体の使用は、MDTCGの計算コストをどの程度低減できるか？
• RQ3 探索ベースの戦略は、大規模なモデルにおける変異体検出の効率性と有効性をどの程度向上できるか？
• RQ4 提案手法は、鉄道制御システムのような複雑な実世界システムに対し、意味のあるテストセットを生成できるか？

主な発見

• MoMuT::UMLは、最大2800個の相互作用するステートマシンを含むUMLモデルに対し、産業スケールでのスケーラビリティを示してテストケースを効果的に生成した。
• 短命な並列変異体の使用により、従来のMDTCG手法と比較して、時間的・リソース的オーバーヘッドが顕著に低減された。
• 探索ベースの戦略の統合により、変異体検出カバレッジを損なわせることなく、テスト生成の効率性が向上した。
• 本ツールは、オーストリア国営鉄道網の実際の鉄道駅モデルを用いて検証され、複雑な安全要件を満たすシステムへの適用可能性が確認された。
• 従来、このような手法に適さないと考えられていた大規模なモデルに対しても、実用的なMDTCGを可能にした。
• 結果として、並列処理と知的な探索戦略を組み合わせることで、変異駆動型テストにおけるスケーラビリティと有効性を達成できることが示された。