[論文レビュー] Bypassing the Combinatorial Explosion: Using Similarity to Generate and Prioritize T-wise Test Suites for Large Software Product Lines

Christopher Henard, Mike Papadakis+4 more|arXiv (Cornell University)|Nov 23, 2012

Advanced Software Engineering Methodologies参考文献 31被引用数 26

ひとこと要約

本論文は、大規模なソフトウェア製品ライン（SPL）において、T-ワイズテストスイートの生成と優先順位付けを、検索ベースで類似性に依存するアプローチを提案する。これにより、Tに依存しないスケーラブルで柔軟なテスト生成が可能になる。製品の多様性に基づくフィットネス関数を用いることで、組合せ爆発を回避し、Linuxカーネルのような大規模なFMでも、たった1,000個の製品で最大90.67%のT-ワイズカバレッジを達成した。

ABSTRACT

Software Product Lines (SPLs) are families of products whose commonalities and variability can be captured by Feature Models (FMs). T-wise testing aims at finding errors triggered by all interactions amongst t features, thus reducing drastically the number of products to test. T-wise testing approaches for SPLs are limited to small values of t -- which miss faulty interactions -- or limited by the size of the FM. Furthermore, they neither prioritize the products to test nor provide means to finely control the generation process. This paper offers (a) a search-based approach capable of generating products for large SPLs, forming a scalable and flexible alternative to current techniques and (b) prioritization algorithms for any set of products. Experiments conducted on 124 FMs (including large FMs such as the Linux kernel) demonstrate the feasibility and the practicality of our approach.

研究の動機と目的

• 大規模なSPLにおける正確なT-ワイズテストのスケーラビリティの制限を解決すること。組合せ爆発のため、完全なカバレッジは非現実的である。
• 時間的・予算的制約下でも、大規模な特徴モデルに対して柔軟にテストスイートを生成できること。
• T-ワイズ特徴相互作用を最もカバーできる可能性がある製品を優先順位付けすること。
• T値に依存しない手法を開発し、すべてのT-ワイズ組み合わせを明示的に列挙する高コストなプロセスを回避すること。

提案手法

• 類似性に基づくフィットネス関数を用いて、検索ベースのアルゴリズムをガイドし、製品間の多様性を測定することで、T-ワイズカバレッジを最大化する。
• アプローチは、繰り返し配置を選び、全体の構成を置き換えることで、FM制約を満たす有効なSPL製品を生成する。
• 期待されるT-ワイズ相互作用カバレッジに基づいて製品をランク付けする2つの優先順位付けアルゴリズム—グリーディ法とニアオプティマル法—を導入する。
• T-ワイズ組み合わせの明示的列挙を避けるために、カバレッジの潜在的価値の代理として製品の類似性に依存する。
• フレームワークは、124のFM（Linuxカーネルを含む、約7,000の特徴と約200,000の制約を有する）上で実装・評価された。

実験結果

リサーチクエスチョン

• RQ1 大規模な特徴モデルや高いT値に対しても、効率的にT-ワイズテスト生成を模倣し、ある程度のカバレッジを達成できるか？
• RQ2 T-ワイズテストに最も関連する製品は何か？ そして、故障検出を最大化するために、どのように優先順位をつけることができるか？
• RQ3 T-ワイズ組み合わせをすべて列挙しないで、時間的・予算的制約下でもスケーラブルかつ柔軟なテストスイートを生成できるか？

主な発見

• LinuxカーネルFMにおいて、たった1,000個のテスト製品で最大90.671%の6-ワイズカバレッジを達成した。
• 本手法は、最大のFMとしてテストされたLinuxカーネル（約7,000の特徴、約8.71×10^21個の有効な6-セット）に対しても、合理的な時間内にスケーリングに成功した。
• 類似性に基づくフィットネス関数により、T-ワイズ組み合わせの明示的計算なしに効率的な生成が可能となり、Tに依存しないアプローチが実現した。
• グリーディ法およびニアオプティマル法による優先順位付けアルゴリズムは、T-ワイズカバレッジを最大化する上で効果的に製品をランク付けし、ランダム選択を上回った。
• 本フレームワークは、実世界および合成されたFMにおいて実用的であることが示された。これには、従来のツールでは取り扱いが不可能だったものも含まれる。