[論文レビュー] SeqTG: Scalable Combinatorial Test Generation via Sequential Integer Linear Programming

Sitong Yang, Wanying Bao+4 more|arXiv (Cornell University)|Mar 14, 2026

Software Testing and Debugging Techniques被引用数 0

ひとこと要約

SeqTG は暖機スタートされた逐次 ILP フレームワークを用いて、制約遵守を満たす最小限のカバレージ配列を生成し、制約付きおよび制約なしの大規模ベンチマークにおいて現状最先端のコンパクトさとスケーラビリティを達成する。

ABSTRACT

Combinatorial Testing (CT) is essential for detecting interaction-triggered faults, yet generating minimal Covering Arrays under complex constraints remains an unresolved NP-hard challenge. Current greedy algorithms are highly scalable but suffer from severe ``diminishing returns'': they efficiently cover initial interactions but produce bloated, redundant test suites when struggling to pack the final few difficult pairs. While exact mathematical programming could theoretically address this inefficiency, it has historically been intractable due to combinatorial explosion. In this paper, we pioneer the application of exact mathematical modeling to CT by introducing SeqTG, a scalable framework based on Sequential Integer Linear Programming (ILP). To circumvent the scalability barrier, SeqTG employs a novel Warm-Start strategy: a rapid greedy initialization first clears the ``easy'' interactions, allowing the rigorous ILP solver to exclusively optimize the fragmented, difficult-to-cover remainder. The pipeline operates in three stages: (1) a Constraint-First phase grouping must-include requirements via graph partitioning; (2) an Incremental Optimization phase targeting the remaining interactions with sequential ILP; and (3) a Global Minimization phase eliminating redundancies via set-covering. Extensive evaluations across standard benchmarks and 200 large-scale configurations validate the framework's efficacy. The results demonstrate that SeqTG effectively eradicates late-stage bloat, achieving state-of-the-art test suite compactness and strict constraint adherence.

研究の動機と目的

• ソフトウェア構成の相互作用トリガー fault の堅牢な検出を動機づける。
• 最小サイズの制約付きカバレージ配列という NP-hard な未解決問題に取り組む。
• 貪欲法と厳密最適化のスケーラビリティのギャップを橋渡しする。
• 産業問題とベンチマーク問題で実用的な有効性を示す。

提案手法

• グローバル最適性と制約処理のモノリシック ILP のベースラインを確立する。
• CT 問題を解ける ILP サブ問題へ逐次分解する SeqTG を導入する。
• 高速な貪欲ツールによる暖機から難しい尾部を ILP に任せ、容易な相互作用は先にカバーする。
• Greedy Constraint Partitioning (GCP) を適用して must-include 制約を互換性のあるセットにグループ化する。
• 各逐次 ILP で重み付きカバレージを最大化し、対の重み w_u = l_i * l_j として難しい対のカバーを優先する。
• 制約は線形化（p_u, x_i,a, x_j,b）および逐次の包含/除外処理によって課す。
• 冗長性を排除してコンパクトな最終スイートを得るため、グローバルな集合被覆最小化で Finish。
• 複雑な must-include および排除制約を逐次線形化と制約対応ジェネレーションで処理する。
• アルゴリズム 2 は Warm-Start、Must-Include 処理、Incremental ジェネレーション、グローバル最小化をオーケストレーションする。

実験結果

リサーチクエスチョン

• RQ1 逐次 ILP フレームワークは大規模・制約付き問題に対して従来の貪欲 CT アルゴリズムより小さなテストスイートを生み出せるか。
• RQ2 ウォームスタート戦略は最適性保証を維持しつつ計算負荷を低減できるか。
• RQ3 制約前処理（GCP）と逐次 ILP 最適化がスイートのコンパクト性と制約遵守に与える影響は何か。
• RQ4 SeqTG はモノリシック ILP および既存 CT ツールと比較して産業・ベンチマーク workloads でどの程度スケールするか。

主な発見

• SeqTG は標準ベンチマークで最先端ツールよりもはるかにコンパクトなテストスイートを実現（大規模 CA(10^10) および MCA 構成でサイズが小さい例）。
• 5G ベースバンドのケーススタディでは、SeqTG は必須包含を満たし、禁止相互作用を厳密に回避する 21 テストのスイートを生成。
• SeqTG は大規模な制約なしベンチマークで最終テストスイートサイズを IPOG に比べ 14.2%、PICT に比べ 11.2% 減少させ、異種ベンチマークで PICT および PSO を上回る。
• 大規模な制約なし実験(100 の構成、最大 30 のパラメータ)では、SeqTG が最も小さい平均スイートサイズ（1056）を示し、IPO G に対して約 30% の中央値削減、AllPairs に対して約 14% の削減。
• SeqTG は 100 の大規模問題で制約なし性能を独占的に支配し、Best Size の1位を 94% のケースで達成し、高い安定性と一貫性を示した。
• 制約付きの大規模実験で PICT に対して、SeqTG はテストスイートサイズの正の平均削減を達成（1089.30 対 1116.48 for PICT）。