[论文解读] A Survey of Constrained Combinatorial Testing

Huayao Wu, Changhai Nie+3 more|arXiv (Cornell University)|Aug 7, 2019

Software Testing and Debugging Techniques参考文献 141被引用 13

一句话总结

本综述通过回顾1987年至2018年间的129篇论文，对约束组合测试（CT）进行了全面分析，将技术分类为约束识别、处理与维护。研究发现仅有30–32%的CT研究引入了约束，凸显了其在实际应用中的关键缺口，亟需在软件测试中开发更自动化、高效且集成化的约束处理解决方案。

ABSTRACT

Combinatorial Testing (CT) is a potentially powerful testing technique, whereas its failure revealing ability might be dramatically reduced if it fails to handle constraints in an adequate and efficient manner. To ensure the wider applicability of CT in the presence of constrained problem domains, large and diverse efforts have been invested towards the techniques and applications of constrained combinatorial testing. In this paper, we provide a comprehensive survey of representations, influences, and techniques that pertain to constraints in CT, covering 129 papers published between 1987 and 2018. This survey not only categorises the various constraint handling techniques, but also reviews comparatively less well-studied, yet potentially important, constraint identification and maintenance techniques. Since real-world programs are usually constrained, this survey can be of interest to researchers and practitioners who are looking to use and study constrained combinatorial testing techniques.

研究动机与目标

• 解决由于未处理约束而导致组合测试在实际系统中应用受限的问题。
• 系统性地对CT研究中的约束处理、识别与维护技术进行分类与分析。
• 突出CT文献中约束感知方法的代表性不足，仅有30–32%的研究引入了约束。
• 识别在自动化约束处理、识别以及模型演化方面的开放性挑战。
• 通过整合现有工作并揭示约束维护与识别方面的研究空白，为未来研究奠定基础。

提出的方法

• 收集并分析了1987年至2018年间发表的129篇关于组合测试的研究论文。
• 将研究分为三类：约束识别、约束处理与约束维护。
• 审查了布尔逻辑、禁止元组和基于格的语义等约束表示方法。
• 评估了约束求解器、最小禁止元组和基于模型的验证等约束处理技术。
• 使用SMT求解器和语义差异检测评估约束维护策略，以支持模型演化。
• 提出了一种标准表示形式，并设计了算法以检测测试模型演化过程中的语法差异与语义差异。

实验结果

研究问题

• RQ1 在组合测试中，用于建模约束的主导表示形式是什么？
• RQ2 约束如何影响组合测试用例生成的有效性与效率？
• RQ3 当前在CT中识别、处理与维护约束的最先进技术有哪些？
• RQ4 尽管约束处理具有关键作用，为何其在CT研究与实践中仍被低估？
• RQ5 在迭代开发过程中，模型演化期间约束维护方面存在哪些开放性挑战？

主要发现

• 截至2018年，仅有32%的CT测试用例生成研究采用了约束处理技术。
• 在2014年调查的75款工具中，超过一半未实现任何约束处理，表明实践中普遍存在忽视现象。
• 约束处理技术从手动模型修改到自动化求解器和最小禁止元组方法不等。
• 利用SMT求解器进行自动化约束识别与验证，可检测测试模型中的不一致性和冗余约束。
• 基于格的语义可提升模型演化能力，确保在值或约束发生变化时保持语义一致性。
• 存在用于修复测试模型与实现之间一致性故障的技术，但其在文献中仍鲜有深入探索。