[论文解读] Freeing Testers from Polluting Test Objectives

Michaël Marcozzi, Sébastien Bardin+4 more|arXiv (Cornell University)|Aug 29, 2017

Software Testing and Debugging Techniques参考文献 50被引用 9

一句话总结

本文提出 LClean，一种可靠且可扩展的技术，用于识别并移除白盒测试标准中的不可行、重复及被包含的测试目标——统称为“污染性”目标。通过将问题简化为在 Frama-C 平台内利用最弱先验谓词演算与 SMT 求解来证明逻辑断言，LClean 在规模达 200K LOC 的程序中最多可移除 27% 的测试目标，从而提升测试套件的精度与效率。

ABSTRACT

Testing is the primary approach for detecting software defects. A major challenge faced by testers lies in crafting efficient test suites, able to detect a maximum number of bugs with manageable effort. To do so, they rely on coverage criteria, which define some precise test objectives to be covered. However, many common criteria specify a significant number of objectives that occur to be infeasible or redundant in practice, like covering dead code or semantically equal mutants. Such objectives are well-known to be harmful to the design of test suites, impacting both the efficiency and precision of testers' effort. This work introduces a sound and scalable formal technique able to prune out a significant part of the infeasible and redundant objectives produced by a large panel of white-box criteria. In a nutshell, we reduce this challenging problem to proving the validity of logical assertions in the code under test. This technique is implemented in a tool that relies on weakest-precondition calculus and SMT solving for proving the assertions. The tool is built on top of the Frama-C verification platform, which we carefully tune for our specific scalability needs. The experiments reveal that the tool can prune out up to 27% of test objectives in a program and scale to applications of 200K lines of code.

研究动机与目标

• 测试人员在不可行或冗余的测试目标上浪费精力，例如死代码或语义等价的变异体，这些目标会扭曲覆盖度量并降低测试效率。
• 现有方法要么不严谨（如动态方法），要么适用范围有限（例如仅检测重复变异体），无法在大规模场景下同时处理所有三类污染性目标。
• 亟需一种统一、可扩展且严谨的技术，用于在多种白盒测试标准中检测并移除不可行、重复及被包含的测试目标。
• 目标是通过使测试人员聚焦于有意义且非冗余的目标，提升测试套件质量，从而更准确地评估测试覆盖度与故障检测能力。

提出的方法

• 核心技术将污染性目标的检测问题转化为证明从被测代码中提取的逻辑断言的有效性。
• 断言由各种白盒测试标准定义的测试目标（如条件结果或变异体）自动生成。
• 采用最弱先验谓词演算对这些断言进行静态分析，以判断其是否恒真、恒假或不可判定。
• 利用 SMT 求解对断言的有效性进行形式化验证，从而实现对不可行、重复或被包含目标的可靠检测。
• 实现基于 Frama-C 验证平台构建，该平台已扩展并针对大型 C 程序的性能与可扩展性进行了调优。
• 该工具可处理规模达 200K LOC 的程序，基于形式化证明进行目标剪枝，确保严谨性并避免误报。

实验结果

研究问题

• RQ1 能否使用形式化方法在广泛的白盒测试标准中检测并消除不可行、重复及被包含的测试目标？
• RQ2 是否可能在不牺牲严谨性的前提下，将污染性目标的检测扩展到工业规模的 C 程序？
• RQ3 该方法在减少测试目标数量的同时，能否保持其对故障检测的语义相关性？
• RQ4 移除污染性目标在多大程度上提升了测试覆盖度量的准确性？
• RQ5 该技术能否推广以支持条件覆盖和变异体覆盖之外的多种测试标准？

主要发现

• LClean 在真实世界 C 程序中成功剪枝了最多 27% 的测试目标，显著减轻了冗余或不可行测试目标的负担。
• 该方法具有严谨性：从不移除可行或相关的测试目标，避免了动态分析中常见的误报。
• 该工具可扩展至规模达 200,000 行代码的程序，展示了其在工业环境中的实际适用性。
• 通过消除污染性目标，LClean 提升了基于覆盖度的度量的可靠性，防止测试套件强度测量结果被高估或低估。
• 该技术优于以往工作，统一在一个形式化框架下处理了全部三类污染性目标——无效、重复与被包含目标。
• 实验结果证实，LClean 使测试人员能够聚焦于高价值目标，从而更准确地评估测试套件质量与故障检测潜力。