[论文解读] Constrained locating arrays for combinatorial interaction testing

Hao Jin, Tatsuhiro Tsuchiya|arXiv (Cornell University)|Dec 6, 2017

Software Testing and Debugging Techniques参考文献 36被引用 10

一句话总结

本文提出了受限定位数组（Constrained Locating Arrays, CLAs），这是一种新型组合测试模型，将定位数组扩展至处理软件系统中的实际参数约束。通过整合约束感知可区分性与构造性算法，CLAs 实现了在受限系统中的高效故障定位，实验表明其可扩展至实际问题规模。

ABSTRACT

This paper introduces the notion of Constrained Locating Arrays (CLAs), mathematical objects which can be used for fault localization in software testing. CLAs extend ordinary locating arrays to make them applicable to testing of systems that have constraints on test parameters. Such constraints are common in real-world systems; thus CLA enhances the applicability of locating arrays to practical testing problems. The paper also proposes an algorithm for constructing CLAs. Experimental results show that the proposed algorithm scales to problems of practical sizes.

研究动机与目标

• 解决现有定位数组技术在软件测试中无法处理现实世界参数约束的问题。
• 形式化定义在约束下的可区分性，其中由于约束限制，某些触发故障的交互可能本质上不可区分。
• 开发一种实用的算法，用于生成既满足约束又具备定位故障触发交互能力的 CLAs。
• 在真实世界与合成测试问题上，展示所提出的 CLA 构造方法的可扩展性与有效性。

提出的方法

• 将待测系统（SUT）定义为三元组 ⟨F, S, φ⟩，其中 F 为因子集合，S 为其取值域，φ 为限制有效测试组合的约束函数。
• 引入有效与无效交互的概念：若某交互出现在至少一个满足 φ 的有效测试中，则为有效交互，否则为无效交互。
• 形式化定义受限定位数组（CLAs）为测试用例集，确保在给定强度 t 下，任意两个有效交互之间均保持可区分性，即使在约束条件下亦成立。
• 提出一种计算方法，通过在覆盖数组构造技术中引入约束感知可区分性检查，生成 CLAs。
• 采用递归构造策略，通过确保任意一对可区分交互在数组中的覆盖模式不同，逐步构建 CLAs。
• 利用如下事实：若某个 t 元交互有效，且其 (t-1) 元子交互也有效，则可通过约束感知的测试选择保持其可区分性。

实验结果

研究问题

• RQ1 如何将定位数组扩展以处理限制有效测试组合的参数约束系统？
• RQ2 在存在约束的情况下，何种形式条件可确保两个触发故障的交互保持可区分性？
• RQ3 能否设计一种可扩展的算法，用于生成既满足系统约束又保持故障定位能力的 CLAs？
• RQ4 所提出的 CLA 构造方法在具有复杂约束的实际规模软件系统中，其可扩展性达到何种程度？

主要发现

• 所提出的 CLA 模型通过在约束下正式定义可区分性，成功将定位数组扩展至受限系统，即使某些交互本质上不可区分，仍可实现故障定位。
• CLAs 构造算法被证明是正确的：其生成的数组能够区分任意两个有效交互（至强度 t），从而确保故障定位能力。
• 实验表明，该方法在实际问题规模上具有良好的可扩展性，涵盖合成与真实世界测试用例，包括具有五个因子和复杂因子间约束的经典手机测试案例。
• 构造过程确保 CLA 中所有测试用例均为有效（满足约束），且所有有效 t 元交互均被覆盖，从而保持了覆盖数组的核心特性。
• 理论分析证实，若两个交互可区分，则其在 CLA 中的覆盖模式必然不同，从而保证可唯一识别触发故障的交互。
• 该方法通过最小化测试集规模，在保持组合测试效率的同时，增强了对约束处理与故障定位的鲁棒性。