[论文解读] A Review of Pair-wise Testing

Jimi Sanchez|arXiv (Cornell University)|Jun 1, 2016

Software Testing and Debugging Techniques参考文献 11被引用 4

一句话总结

本文综述了配对测试作为一种组合测试技术，通过生成覆盖所有输入参数值对的最小测试用例，显著减少了测试用例集的规模，同时实现了较高的故障检测率（2路交互的故障检测率达93%）。该文提出了一种基于遗传算法的方法，并在开源工具PWiseGen中实现，以高效生成最小的配对测试集，尽管该问题属于NP难问题，但其性能与现有方法相比仍具竞争力。

ABSTRACT

In software testing, the large size of the input domain makes exhaustively testing the inputs a daunting and often impossible task. Pair-wise testing is a popular approach to combinatorial testing problems. This paper reviews Pair-wise testing and its history, strengths, weaknesses, and tools for generating test cases.

研究动机与目标

• 分析配对测试在软件工程中的优势、劣势及实际应用。
• 评估配对测试在检测故障方面相较于更高强度交互测试的有效性。
• 探讨生成最小配对测试集的算法方法，尤其针对该问题的计算复杂性。
• 提出并验证一种新颖的基于遗传算法的最小配对测试用例生成方法。
• 开发并发布开源工具PWiseGen，以支持自动化配对测试生成。

提出的方法

• 本文将配对测试用例集生成问题建模为搜索问题，旨在最小化测试用例数量的同时覆盖所有输入值对。
• 应用遗传算法演化测试用例集，其中染色体表示测试用例，并通过交叉和变异操作提升适应度。
• 通过基于所有输入对覆盖度的评估，迭代优化解集，选择表现更优的测试用例集。
• 将该方法与现有工具和方法进行对比评估，性能指标包括测试用例集大小和覆盖效率。
• 作者实现了PWiseGen这一开源工具，基于其遗传算法方法用于配对测试生成。
• 通过真实世界软件配置测试场景验证该方法，强调其可扩展性和最小化测试用例集的能力。

实验结果

研究问题

• RQ1 与更高强度交互测试相比，配对测试在检测软件故障方面的有效性如何？
• RQ2 遗传算法能否有效最小化测试用例数量，同时确保完整的配对覆盖？
• RQ3 现有工具在生成最小配对测试集方面存在哪些局限性，如何加以改进？
• RQ4 在测试用例集大小和计算效率方面，所提出的遗传算法相较于现有方法的优越程度如何？
• RQ5 如何增强配对测试，以涵盖未被均匀配对覆盖所捕获的风险导向型输入组合？

主要发现

• 配对测试对2路交互的故障检测率达93%，对3路组合的故障检测率达98%，表明大多数缺陷源于单个参数或参数对。
• 尽管具有优势，配对测试可能遗漏10%至40%的系统缺陷，尤其在安全关键系统中。
• PWiseGen中提出的遗传算法方法在与现有工具对比中表现出竞争力，有效最小化了测试用例数量。
• 由于该问题属于NP难问题，目前尚无已知的高效最优解，但遗传算法等启发式方法提供了实际的可扩展性。
• 像PWiseGen这样的工具是有效辅助，但无法替代有经验的测试人员，后者必须手动包含算法未选择的高风险或关键输入组合。
• 仅靠配对测试不足以覆盖安全关键系统，应结合其他测试策略以实现全面覆盖。