[논문 리뷰] Test Case Prioritization: A Snowballing Literature Review and TCPFramework with Approach Combinators

Tomasz Chojnacki, Lech Madeyski|arXiv (Cornell University)|2026. 02. 26.

Software Testing and Debugging Techniques인용 수 0

한 줄 요약

논문은 테스트 케이스 우선순위화(TCP)에 대한 snowballing 문헌조사를 수행하고, TCPFramework 및 접근 방식 조합자/콤비네이터를 도입하며, RTPTorrent에서 이를 실증적으로 평가하여 회귀 테스트에서 최대 2.7%의 시간 감소 및 경쟁력 있는 결과를 달성했다.

ABSTRACT

Context: Test case prioritization (TCP) is a technique widely used by software development organizations to accelerate regression testing. Objectives: We aim to systematize existing TCP knowledge and to propose and empirically evaluate a new TCP approach. Methods: We conduct a snowballing review (SR) on TCP, implement a~comprehensive platform for TCP research (TCPFramework), analyze existing evaluation metrics and propose two new ones ( APFDc{} and ATR), and develop a~family of ensemble TCP methods called approach combinators. Results: The SR helped identify 324 studies related to TCP. The techniques proposed in our study were evaluated on the RTPTorrent dataset, consistently outperforming their base approaches across the majority of subject programs, and achieving performance comparable to the current state of the art for heuristical algorithms (in terms of APFDc{}, NTR, and ATR), while using a distinct approach. Conclusions: The proposed methods can be used efficiently for TCP, reducing the time spent on regression testing by up to 2.7\%. Approach combinators offer significant potential for improvements in future TCP research, due to their composability.

연구 동기 및 목표

• Systematically review the TCP literature using snowballing to map datasets, algorithms, and evaluation practices.
• Propose and empirically evaluate a new TCP approach with training-free combinators.
• Provide an open-source framework (TCPFramework) for developing and evaluating TCP methods.
• Introduce and analyze new TCP evaluation metrics (rAPFD_C and ATR) for quality and time efficiency.

제안 방법

• SEGRESS 가이드라인에 따라 TCP 연구와 데이터셋을 식별하기 위한 snowballing 체계적 검토를 수행한다.
• 데이터 품질 문제와 TCP 데이터셋의 분절 현상에 따른 품질 고려로 RTPTorrent를 평가 데이터셋으로 채택한다.
• 재현 가능한 TCP 연구를 위한 추상적 Approach, Dataset, MetricCalc 클래스를 갖춘 Python 기반 플랫폼인 TCPFramework를 개발한다.
• 훈련 없이 TCP 방법을 조합하기 위한 접근 조합자(mixer, interpolator, tiebreaker)를 제안한다.
• 테스트 우선순위를 위한 코드 표현 기반의 탐욕적 거리 경로 접근법인 CodeDistOrder를 도입한다.
• APFD, NTR, NRPA, RPA 등 기존 지표와 함께 두 가지 새로운 지표인 rAPFD_C와 ATR을 정의하고 평가한다.

실험 결과

연구 질문

• RQ1 SRRQ1: TCP에 존재하는 데이터셋과 대상 프로그램은 무엇인가?
• RQ2 SRRQ2: 최첨단 TCP 알고리즘은 무엇인가?

주요 결과

• snowballing 과정에서 여러 연도와 학술지에 걸쳐 324건의 TCP 관련 연구(주 연구 292건)가 확인되었다.
• RTPTorrent가 데이터 품질 고려에 따른 실증 평가용 데이터셋으로 선택되었다.
• 제안된 TCP 접근법은 일관되게 기본 방법을 능가했고, 독특한 접근 방식으로 현재 휴리스틱 최첨단 방법과 비교할 만한 결과를 달성하였다.
• 훈련 없이 조합 가능하고 조합 가능한 접근자들은 기본 접근법에 비해 상당한 성능 향상을 보였다.
• 해당 방법들은 회귀 테스트 시간을 최대 2.7% 단축했다.
• TCPFramework는 TCP 방법과 비교 기준의 개발 및 평가를 위한 개방적이고 확장 가능한 인프라를 제공하여 재현성을 촉진한다.