[論文レビュー] Test Case Prioritization: A Snowballing Literature Review and TCPFramework with Approach Combinators

Tomasz Chojnacki, Lech Madeyski|arXiv (Cornell University)|Feb 26, 2026

Software Testing and Debugging Techniques被引用数 0

ひとこと要約

この論文は TCP（テストケース優先付け）に関するスノーボール法による文献調査を実施し、TCPFramework とアプローチ組み合わせ子を導入、RTPTorrent 上で実証評価を行い、競争力のある結果と回帰テスト時間の最大2.7%短縮を達成した。

ABSTRACT

Context: Test case prioritization (TCP) is a technique widely used by software development organizations to accelerate regression testing. Objectives: We aim to systematize existing TCP knowledge and to propose and empirically evaluate a new TCP approach. Methods: We conduct a snowballing review (SR) on TCP, implement a~comprehensive platform for TCP research (TCPFramework), analyze existing evaluation metrics and propose two new ones ( APFDc{} and ATR), and develop a~family of ensemble TCP methods called approach combinators. Results: The SR helped identify 324 studies related to TCP. The techniques proposed in our study were evaluated on the RTPTorrent dataset, consistently outperforming their base approaches across the majority of subject programs, and achieving performance comparable to the current state of the art for heuristical algorithms (in terms of APFDc{}, NTR, and ATR), while using a distinct approach. Conclusions: The proposed methods can be used efficiently for TCP, reducing the time spent on regression testing by up to 2.7\%. Approach combinators offer significant potential for improvements in future TCP research, due to their composability.

研究の動機と目的

• スノーボール法を用いて TCP 文献を体系的にレビューし、データセット、アルゴリズム、評価手法をマッピングする。
• トレーニング不要な組み合わせ子を用いて新しい TCP アプローチを提案し、実証評価を行う。
• TCP メソッドの開発と評価のためのオープンソースフレームワーク（TCPFramework）を提供する。
• 品質と時間効率のための新しい TCP 評価指標（rAPFD_C と ATR）を導入・分析する。

提案手法

• SEGRESS ガイドラインに従うスノーボール法による体系的レビューを実施し、TCP の研究とデータセットを特定する。
• TCP データセット全体のデータ品質を考慮した上で、評価データセットとして RTPTorrent を採用する。
• 再現性のある TCP 研究のために、抽象的な Approach、Dataset、MetricCalc クラスを備えた Python ベースのプラットフォームである TCPFramework を開発する。
• トレーニングを必要とせず TCP メソッドを組み合わせて混合・補完する「アプローチ組み合わせ子（mixer、interpolator、tiebreaker）」を提案する。
• テスト優先付けのためのコード表現ベースの貪欲距離経路アプローチとして CodeDistOrder を導入する。
• rAPFD_C と ATR の2つの新規指標を、既存指標の APFD、NTR、NRPA、RPA とともに定義・評価する。

実験結果

リサーチクエスチョン

• RQ1 SRRQ1: TCP のデータセットと対象プログラムにはどのようなものがあるか？
• RQ2 SRRQ2: 最先端の TCP アルゴリズムは何か？

主な発見

• スノーボール法のプロセスで 324 件の TCP 関連研究（うち 292 件が一次論文）が、複数年・複数会場にわたって特定された。
• RTPTorrent はデータ品質の観点から実証評価のデータセットとして選定された。
• 提案された TCP アプローチはベース手法を一貫して上回り、現在のヒューリスティック最先端手法と同等の結果を、別のアプローチを用いながら達成した。
• アプローチ組み合わせ子は、学習を要せず組成可能であるため、ベース手法よりも顕著な性能向上を示した。
• 回帰テスト時間を最大で 2.7% 短縮した。
• TCPFramework は TCP 手法とベースラインを開発・評価するためのオープンで拡張性のある基盤を提供し、再現性を促進する。