[論文レビュー] Practical Model-driven Data Generation for System Testing.

Ghanem Soltana, Mehrdad Sabetzadeh+1 more|arXiv (Cornell University)|Feb 1, 2019

Software Testing and Debugging Techniques被引用数 8

ひとこと要約

本論文は、メタヒューリスティック探索と充足論理論理（SMT）を組み合わせたハイブリッドなモデル駆動型アプローチを提案し、システムレベルのテストに適した複雑で制約を満たすテストデータを生成する。UML/OCLモデルを活用し、両技術の相補的な強みを活かしてタスクを分担することで、従来の手法と比較して工業的ケーススタディにおいて優れたスケーラビリティと適用可能性を達成した。

ABSTRACT

The ability to generate test data is often a necessary prerequisite for automated software testing. For the generated data to be fit for its intended purpose, the data usually has to satisfy various logical constraints. When testing is performed at a system level, these constraints tend to be complex and are typically captured in expressive formalisms based on first-order logic. Motivated by improving the feasibility and scalability of data generation for system testing, we present a novel approach, whereby we employ a combination of metaheuristic search and Satisfiability Modulo Theories (SMT) for constraint solving. Our approach delegates constraint solving tasks to metaheuristic search and SMT in such a way as to take advantage of the complementary strengths of the two techniques. We ground our work on test data models specified in UML, with OCL used as the constraint language. We present tool support and an evaluation of our approach over three industrial case studies. The results indicate that, for complex system test data generation problems, our approach presents substantial benefits over the state of the art in terms of applicability and scalability.

研究の動機と目的

• システムレベルのソフトウェアテストに適した複雑で制約を満たすテストデータを生成するという課題に対処すること。
• 複雑な論理的制約を有する工業的スケールのシステムにおいて、テストデータ生成の実行可能性とスケーラビリティを向上させること。
• メタヒューリスティック探索とSMTソルバを相補的に統合し、単独で用いる場合の限界を克服すること。
• 現実的なシステムモデリングのためのUMLクラス図とOCL不変条件に基づくテストデータ生成を支援すること。
• 実世界の工業的ケーススタディを対象にアプローチを評価し、実用的適用性と性能向上を示すこと。

提案手法

• 構造的モデルとしてUMLクラス図を、制約言語としてOCLを用いて論理的不変条件を指定する。
• 問題の特性と計算効率に基づき、制約の解決をメタヒューリスティック探索とSMTソルバの間で分担する。
• メタヒューリスティック探索は、非線形または複雑な制約に対して、妥当なテストデータ構成の探索空間を探索する。
• SMTソルバは、理論を伴う一階論理で表現された決定可能論理的制約を、効率的に検証・解決するために用いる。
• トラactableな制約をSMTに、複雑で組み合わせ的な部分をメタヒューリスティクスにオフロードすることで、負荷を動的にバランスさせる。
• UML/OCLモデルから具体的なテストデータインスタンスへの生成パイプラインを自動化するためのツール支援を実装する。

実験結果

リサーチクエスチョン

• RQ1 メタヒューリスティック探索とSMTソルビングを組み合わせたハイブリッドアプローチは、システムレベルのテストに適した複雑なテストデータを効果的に生成できるか？
• RQ2 本手法は、スケーラビリティと制約満たしカバレッジの観点で、既存の手法と比較してどのように異なるか？
• RQ3 メタヒューリスティック探索とSMTの相補的強みは、複雑で現実的なテストデータ生成の実行可能性をどの程度向上できるか？
• RQ4 本手法は、工業的環境におけるUMLモデル上に表現されたOCLによる複雑な制約をどの程度効果的に処理できるか？
• RQ5 本手法は、多様な工業的ケーススタディにおいて、性能と適用性の観点でどの程度有効であるか？

主な発見

• 本手法は、複雑なシステムテストデータ生成におけるスケーラビリティの観点で、最先端の技術を上回った。
• メタヒューリスティック探索とSMTのハイブリッド利用により、組み合わせ的探索と決定可能な論理的制約の両方を効果的に処理できるようになった。
• 3つの工業的ケーススタディすべてで高い制約満たし率を達成し、実用的適用性が裏付けられた。
• UMLとOCLモデルの統合と自動テストデータ生成の統合は、現実的で大規模なシステムテストシナリオにおいて効果的であった。
• 評価結果から、単独でSMTベースまたはメタヒューリスティクスベースの手法を用いた場合と比較して、テストデータ生成時間と成功確率に顕著な改善が見られた。
• 本手法は、単一の技術では表現・解決が困難な複雑な対象間制約を含むシナリオにおいて特に有効であった。