[论文解读] Bypassing the Combinatorial Explosion: Using Similarity to Generate and Prioritize T-wise Test Suites for Large Software Product Lines

Christopher Henard, Mike Papadakis+4 more|arXiv (Cornell University)|Nov 23, 2012

Advanced Software Engineering Methodologies参考文献 31被引用 26

一句话总结

本文提出了一种基于搜索的、以相似性为导向的方法，用于为大型软件产品线（SPLs）生成并优先排序 T-wise 测试套件，实现了与 T 值无关的可扩展且灵活的测试生成。通过基于产品多样性的适应度函数，即使在仅使用 1,000 个产品的情况下，也能在 Linux 内核等大规模特征模型（FM）上实现高达 90.67% 的 T-wise 覆盖率，从而规避了精确 T-wise 测试的组合爆炸问题。

ABSTRACT

Software Product Lines (SPLs) are families of products whose commonalities and variability can be captured by Feature Models (FMs). T-wise testing aims at finding errors triggered by all interactions amongst t features, thus reducing drastically the number of products to test. T-wise testing approaches for SPLs are limited to small values of t -- which miss faulty interactions -- or limited by the size of the FM. Furthermore, they neither prioritize the products to test nor provide means to finely control the generation process. This paper offers (a) a search-based approach capable of generating products for large SPLs, forming a scalable and flexible alternative to current techniques and (b) prioritization algorithms for any set of products. Experiments conducted on 124 FMs (including large FMs such as the Linux kernel) demonstrate the feasibility and the practicality of our approach.

研究动机与目标

• 为解决在大型 SPL 中精确 T-wise 测试的可扩展性限制问题，因为组合爆炸使得完全覆盖不可行。
• 在时间和预算约束下，为大型特征模型实现灵活的测试套件生成。
• 根据其覆盖最多 T-wise 特性交互的潜力，对测试产品进行优先排序。
• 开发一种与 T 值无关的方法，以避免对所有 T-wise 组合进行昂贵的枚举。

提出的方法

• 使用基于相似性的适应度函数引导基于搜索的算法，通过测量产品之间的差异性来最大化 T-wise 覆盖率。
• 通过迭代选择并替换完整配置，生成符合 FM 约束的有效 SPL 产品。
• 引入两种优先排序算法——贪心算法（Greedy）和近似最优算法（Near Optimal），按其预期的 T-wise 交互覆盖能力对产品进行排序。
• 通过依赖产品相似性作为覆盖潜力的代理，避免显式枚举 T-wise 组合。
• 该框架在 124 个 FM 上实现并评估，包括包含约 7,000 个特征和约 200,000 个约束的 Linux 内核。

实验结果

研究问题

• RQ1 我们能否在不进行显式枚举的情况下，高效地模拟 T-wise 测试生成，即使在大型特征模型和高 T 值下也能实现合理的覆盖率？
• RQ2 哪些产品最适合作为 T-wise 测试的候选？如何对它们进行优先排序以最大化故障检测能力？
• RQ3 我们能否在不枚举所有 T-wise 组合的前提下，在时间和预算约束下生成可扩展且灵活的测试套件？

主要发现

• 该方法仅使用 1,000 个测试产品，就在 Linux 内核 FM 上实现了高达 90.671% 的 6-wise 覆盖率。
• 该方法成功扩展到所测试的最大 FM——包含约 7,000 个特征和约 8.71×10^21 个有效 6-组合的 Linux 内核——且在合理时间内完成。
• 基于相似性的适应度函数实现了高效的生成过程，无需显式计算 T-wise 组合，使该方法与 T 值无关。
• 贪心算法（Greedy）和近似最优算法（Near Optimal）有效对产品进行了排序，显著提升了 T-wise 覆盖率，优于随机选择。
• 该框架在真实世界和合成的 FM 上展示了实际可行性，包括此前现有工具无法处理的 FM。