[논문 리뷰] SeqTG: Scalable Combinatorial Test Generation via Sequential Integer Linear Programming

Sitong Yang, Wanying Bao외 4명|arXiv (Cornell University)|2026. 03. 14.

Software Testing and Debugging Techniques인용 수 0

한 줄 요약

SeqTG는 따뜻 시작된 순차 ILP 프레임워크를 사용하여 최소이면서 제약 준수를 만족하는 커버링 배열을 생성하고, 대규모 제약 및 비제약 벤치마크에서 최첨단의 컴팩트성과 확장성을 달성합니다.

ABSTRACT

Combinatorial Testing (CT) is essential for detecting interaction-triggered faults, yet generating minimal Covering Arrays under complex constraints remains an unresolved NP-hard challenge. Current greedy algorithms are highly scalable but suffer from severe ``diminishing returns'': they efficiently cover initial interactions but produce bloated, redundant test suites when struggling to pack the final few difficult pairs. While exact mathematical programming could theoretically address this inefficiency, it has historically been intractable due to combinatorial explosion. In this paper, we pioneer the application of exact mathematical modeling to CT by introducing SeqTG, a scalable framework based on Sequential Integer Linear Programming (ILP). To circumvent the scalability barrier, SeqTG employs a novel Warm-Start strategy: a rapid greedy initialization first clears the ``easy'' interactions, allowing the rigorous ILP solver to exclusively optimize the fragmented, difficult-to-cover remainder. The pipeline operates in three stages: (1) a Constraint-First phase grouping must-include requirements via graph partitioning; (2) an Incremental Optimization phase targeting the remaining interactions with sequential ILP; and (3) a Global Minimization phase eliminating redundancies via set-covering. Extensive evaluations across standard benchmarks and 200 large-scale configurations validate the framework's efficacy. The results demonstrate that SeqTG effectively eradicates late-stage bloat, achieving state-of-the-art test suite compactness and strict constraint adherence.

연구 동기 및 목표

• 소프트웨어 구성에서 상호 작용으로 유발되는 결함을 견고하게 탐지하는 동기를 제공한다.
• 최소 크기의 제약 커버링 배열의 NP-hard 문제를 다룬다.
• 탐욕적 방법과 정확한 최적화 사이의 확장성 격차를 해소한다.
• 산업 및 벤치마크 문제에서 실용적 효과를 입증한다.

제안 방법

• 전역 최적성 및 제약 처리를 위한 모놀리식 ILP 베이스라인을 확립한다.
• CT 문제를 풀 수 있는 ILP 하위 문제들로 분해하는 순차적 SeqTG를 도입한다.
• 빠른 탐욕 도구에서 얻은 워밍업 시작을 사용하여 쉬운 상호 작용을 커버하고 어려운 tail에 대해 ILP를 보류한다.
• 그리디 제약 분할(GCP)을 적용하여 반드시 포함해야 하는 제약들을 호환 가능한 세트로 묶는다.
• 각 순차 ILP에서 가중치를 곱한 커버리지를 최대화하는데 여기서 쌍의 가중치 w_u = l_i * l_j로 어려운 쌍의 커버리지를 우선한다.
• 선형화(p_u, x_i,a, x_j,b) 및 단계별 포함/제외 처리를 통해 제약을 강제한다.
• 중복 제거 및 간소화된 최종 스위트를 산출하기 위해 전역 집합 커버링 최소화를 수행한다.
• 복합적 반드시 포함 및 제외 제약은 단계별 선형화 및 제약 인식 생성을 통해 처리한다.
• 알고리즘 2는 워밍업 시작, 반드시 포함 처리, 증가적 생성 및 전역 최소화를 조정한다.

실험 결과

연구 질문

• RQ1 대규모 및 제약 문제에서 순차 ILP 프레임워크가 전통적인 탐욕 CT 알고리즘보다 더 작은 테스트 스위트를 생성할 수 있는가?
• RQ2 전용 포함 전략이 최적성 보장을 유지하면서 계산 부담을 줄이는 데 얼마나 효과적인가?
• RQ3 제약 전처리(GCP) 및 단계별 ILP 최적화가 스위트의 간결성과 제약 준수에 어떤 영향을 미치는가?
• RQ4 SeqTG가 모놀리식 ILP 및 기존 CT 도구에 비해 산업 및 벤치마크 작업 부하에서 얼마나 확장되는가?

주요 결과

• SeqTG는 표준 벤치마크에서 최첨단 도구보다 훨씬 더 간결한 테스트 스위트를 달성한다(예: large CA(10^10) 및 MCA 구성을 위한 더 작은 크기).
• 5G 베이스밴드 사례 연구에서 SeqTG는 필수 포함을 만족하고 금지된 상호 작용을 엄격히 피한 21-테스트 스위트를 생성했다.
• SeqTG는 대규모 비제약 벤치마크에서 최종 테스트 스위트 크기를 IPOG 대비 14.2%, PICT 대비 11.2% 감소시켰고, 이기종 벤치마크에서 PICT 및 PSO를 능가했다.
• 대규모 비제약 실험(구성 100개, 매개변수 최대 30개)에서 SeqTG는 평균 스위트 크기가 가장 작았고(1056), IPOG 대비 중앙값 약 30% 감소, AllPairs 대비 14% 감소.
• SeqTG는 100개의 대규모 문제에서 비제약 성능을 지배했고 94%의 경우에서 최적 크기 1위로 나타났으며 높은 안정성과 일관성을 보였다.
• 제약 대형 규모 실험에서 PICT에 대해 SeqTG는 테스트 스위트 크기의 평균 감소를 달성했다(1089.30 대 PICT의 1116.48).