[论文解读] A Taxonomic Review of Adaptive Random Testing: Current Status, Classifications, and Issues

Jinfu Chen, Hilary Ackah-Arthur+2 more|arXiv (Cornell University)|Sep 24, 2019

Software Testing and Debugging Techniques参考文献 147被引用 6

一句话总结

本文对自适应随机测试（ART）进行了全面的分类综述，将109项ART研究进行分类，分析其在提升数值程序故障检测有效性方面的动机、策略与发现。研究识别出显著的理论进展，但同时也指出需要更多实证验证以增强其工业适用性。

ABSTRACT

Random testing (RT) is a black-box software testing technique that tests programs by generating random test inputs. It is a widely used technique for software quality assurance, but there has been much debate by practitioners concerning its failure-detection effectiveness. RT is argued to be possibly less effective by some researchers as it does not utilize any information about the program under test. Efforts to mainly improve the failure-detection capability of RT, have led to the proposition of Adaptive Random Testing (ART). ART takes advantage of the location information of previous non-fault-detecting test cases to enhance effectiveness as compared to RT. The approach has gained popularity and has a large number of theoretical studies and methods that employ different notions. In this review, our goal is to provide an overview of existing ART studies. We classify all ART studies and assess existing ART methods for numeric programs with a focus on their motivation, strategy, and findings. The study also discusses several worthy avenues related to ART. The review uses 109 ART papers in several journals, workshops, and conference proceedings. The results of the review show that significant research efforts have been made towards the field of ART, however further empirical studies are still required to make the technique applicable in different test scenarios in order to impact on the industry.

研究动机与目标

• 为现有自适应随机测试（ART）研究提供系统性概述。
• 根据其动机、策略与发现对ART方法进行分类。
• 评估ART在提升传统随机测试故障检测有效性方面的当前状态。
• 识别研究空白，并提出ART在软件工程中未来发展的有前景方向。
• 通过分析理论与实证研究，评估ART的实际适用性。

提出的方法

• 作者对来自期刊、会议和研讨会的109篇ART论文进行了系统性文献综述。
• 根据其基础动机、测试策略与设计方法对研究进行分类。
• 综述聚焦于针对数值程序的ART方法，分析其在输入空间划分及先前未检测到故障的测试用例使用方面的特点。
• 采用主题分析法，根据其对位置信息与搜索启发式方法的使用，对ART技术进行分组。
• 评估方法论的多样性，并识别ART设计与实现中的常见模式。
• 综述采用结构化框架，评估ART技术的成熟度与局限性。

实验结果

研究问题

• RQ1 不同ART方法开发的主要动机是什么？
• RQ2 ART策略在输入空间划分与位置信息使用方面有何差异？
• RQ3 现有ART研究报告的关键发现与性能结果是什么？
• RQ4 当前ART研究中，特别是在实证验证方面，主要的局限性与空白是什么？
• RQ5 哪些未来研究方向最有可能推动ART向工业应用发展？

主要发现

• 共识别出109项ART研究，表明该领域已实现大量理论发展。
• 大多数ART方法通过利用先前未检测到故障的测试用例的位置信息，来提升故障检测有效性。
• 尽管理论基础坚实，但很少有研究在多样化测试场景下开展严谨的实证评估。
• 综述识别出ART研究中缺乏标准化的基准与评估协议。
• 理论上的ART进展与工业应用之间存在显著差距，亟需更多实际验证。
• 本研究强调需要开展更多对比性实证研究，以在真实世界软件测试条件下评估ART的性能。