[论文解读] SeqTG: Scalable Combinatorial Test Generation via Sequential Integer Linear Programming

Sitong Yang, Wanying Bao+4 more|arXiv (Cornell University)|Mar 14, 2026

Software Testing and Debugging Techniques被引用 0

一句话总结

SeqTG 使用暖启动的顺序 ILP 框架生成最小、符合约束的覆盖数组，在大规模有约束和无约束基准上实现最先进的紧凑性和可扩展性。

ABSTRACT

Combinatorial Testing (CT) is essential for detecting interaction-triggered faults, yet generating minimal Covering Arrays under complex constraints remains an unresolved NP-hard challenge. Current greedy algorithms are highly scalable but suffer from severe ``diminishing returns'': they efficiently cover initial interactions but produce bloated, redundant test suites when struggling to pack the final few difficult pairs. While exact mathematical programming could theoretically address this inefficiency, it has historically been intractable due to combinatorial explosion. In this paper, we pioneer the application of exact mathematical modeling to CT by introducing SeqTG, a scalable framework based on Sequential Integer Linear Programming (ILP). To circumvent the scalability barrier, SeqTG employs a novel Warm-Start strategy: a rapid greedy initialization first clears the ``easy'' interactions, allowing the rigorous ILP solver to exclusively optimize the fragmented, difficult-to-cover remainder. The pipeline operates in three stages: (1) a Constraint-First phase grouping must-include requirements via graph partitioning; (2) an Incremental Optimization phase targeting the remaining interactions with sequential ILP; and (3) a Global Minimization phase eliminating redundancies via set-covering. Extensive evaluations across standard benchmarks and 200 large-scale configurations validate the framework's efficacy. The results demonstrate that SeqTG effectively eradicates late-stage bloat, achieving state-of-the-art test suite compactness and strict constraint adherence.

研究动机与目标

• 以健壮的方式动机在软件配置中检测交互触发的故障。
• 解决最小尺寸有约束覆盖数组的 NP-hard 未解决问题。
• 弥合贪心方法与精确优化之间的可扩展性差距。
• 在工业和基准问题上展示实际有效性。

提出的方法

• 建立全局最优性与约束处理的单块式 ILP 基线。
• 引入 SeqTG，将 CT 问题的序列分解为可求解的 ILP 子问题。
• 利用快速贪心工具的暖启动来覆盖简单交互，保留 ILP 处理困难尾部。
• 应用贪心约束划分（GCP）将必须包含的约束分组为兼容集合。
• 在每个顺序 ILP 中最大化加权覆盖，其中对偶权重 w_u = l_i * l_j，以优先覆盖困难对。
• 通过线性化（p_u, x_i,a, x_j,b）以及逐步包含/排除处理来强制约束。
• 以全局集合覆盖最小化结束，移除冗余，得到紧凑的最终套件。
• 通过逐步线性化与约束感知生成处理复杂的必须包含与排除性约束。
• 算法 2 协调暖启动、必须包含处理、增量生成与全局最小化。

实验结果

研究问题

• RQ1 顺序 ILP 框架在大型规模和有约束问题上是否能比传统贪心 CT 算法生成更小的测试套件？
• RQ2 暖启动策略在降低计算负担同时是否能保持最优性保证？
• RQ3 约束预处理（GCP）与逐步 ILP 最优化对套件紧凑性与约束遵从性有何影响？
• RQ4 相较于单块 ILP 和现有 CT 工具，SeqTG 在工业与基准工作负载下的可扩展性如何？

主要发现

• SeqTG 在标准基准上生成的测试套件明显比最先进工具更紧凑（例如在大 CA(10^10) 与 MCA 配置中规模更小的测试集）。
• 在 5G 基带案例研究中，SeqTG 生成了一个包含必须包含项且严格回避禁止交互的 21 次测试套件。
• SeqTG 在大型无约束基准上相较 IPOG 将最终测试套件规模降低 14.2%，相较 PICT 降低 11.2%，并在异构基准上优于 PICT 与 PSO。
• 在大型无约束的实验（100 种配置，最多 30 个参数）中，SeqTG 的平均测试集规模最小（1056），中位数约较 IPOG 低 30%，较 AllPairs 低 14%。
• SeqTG 在 100 个大型问题的无约束场景中表现突出，在 94% 的案例中取得第一名（最佳规模），展现出高度稳定性与一致性。
• 在对 PICT 的有约束大规模实验中，SeqTG 实现了测试套件规模的正向缩减（平均 1089.30 对 1116.48，PICT）。