[论文解读] Test Case Prioritization: A Snowballing Literature Review and TCPFramework with Approach Combinators

Tomasz Chojnacki, Lech Madeyski|arXiv (Cornell University)|Feb 26, 2026

Software Testing and Debugging Techniques被引用 0

一句话总结

本文对测试用例优先级（TCP）进行了滚雪球式文献综述，提出了TCPFramework与方法组合器，并在RTPTorrent上进行实证评估，取得了具有竞争力的结果，并在回归测试中实现多达2.7%的时间降低。

ABSTRACT

Context: Test case prioritization (TCP) is a technique widely used by software development organizations to accelerate regression testing. Objectives: We aim to systematize existing TCP knowledge and to propose and empirically evaluate a new TCP approach. Methods: We conduct a snowballing review (SR) on TCP, implement a~comprehensive platform for TCP research (TCPFramework), analyze existing evaluation metrics and propose two new ones ( APFDc{} and ATR), and develop a~family of ensemble TCP methods called approach combinators. Results: The SR helped identify 324 studies related to TCP. The techniques proposed in our study were evaluated on the RTPTorrent dataset, consistently outperforming their base approaches across the majority of subject programs, and achieving performance comparable to the current state of the art for heuristical algorithms (in terms of APFDc{}, NTR, and ATR), while using a distinct approach. Conclusions: The proposed methods can be used efficiently for TCP, reducing the time spent on regression testing by up to 2.7\%. Approach combinators offer significant potential for improvements in future TCP research, due to their composability.

研究动机与目标

• 通过滚雪球法系统性回顾TCP文献以绘制数据集、算法和评估实践的全景。
• 提出并在训练自由的组合器下对一种新TCP方法进行实证评估。
• 提供一个开源框架（TCPFramework）用于开发和评估TCP方法。
• 引入并分析新的TCP评估指标（rAPFD_C和ATR）以评估质量与时间效率。

提出的方法

• 按照SEGRESS指南进行滚雪球系统综述以识别TCP研究和数据集。
• 由于TCP数据集在碎片化方面的数据质量考虑，采用RTPTorrent作为评估数据集。
• 开发TCPFramework，一个基于Python的平台，具有抽象的Approach、Dataset和MetricCalc类以实现可重复的TCP研究。
• 提出方法组合器（混合器 mixer、插值器 interpolator、判别者 tiebreaker）以在训练自由条件下组合TCP方法。
• 引入CodeDistOrder作为基于代码表示的贪心距离路径方法用于测试优先级排序。
• 在现有指标（如APFD、NTR、NRPA和RPA）基础上，定义并评估两种新指标rAPFD_C和ATR。

实验结果

研究问题

• RQ1 SRRQ1：存在哪些数据集和被测试程序用于TCP？
• RQ2 SRRQ2：当前的TCP算法有哪些最先进之处？

主要发现

• 滚雪球过程共识别出324项与TCP相关的研究（其中292项为原始研究），覆盖多个年份和场合。
• 由于数据质量方面的专门考虑，RTPTorrent成为用于经验评估的选定数据集。
• 提出的TCP方法在基线方法之上持续表现优异，并在使用不同方法的前提下实现了与当前启发式最先进方法相当的结果。
• 方法组合器由于其训练自由和可组合性，在性能上显著优于基线方法。
• 该方法将回归测试时间缩短至多达2.7%。
• TCPFramework提供一个开放、可扩展的基础设施用于开发和评估TCP方法与基线，促进可重复性。