[论文解读] A Taxonomic Review of Adaptive Random Testing for Numeric Programs

Jinfu Chen, Hilary Ackah-Arthur+2 more|arXiv (Cornell University)|Sep 24, 2019

Software Testing and Debugging Techniques参考文献 145被引用 1

一句话总结

本文对数值程序的自适应随机测试（ART）进行了分类综述，根据其动机、策略和研究发现对54种ART方法进行了分类。研究识别出该领域已取得显著进展，但同时也强调需要开展更多实证研究，以提升ART在工业应用中的适用性及在故障检测方面的有效性，超越传统随机测试。

ABSTRACT

Random testing (RT) is a black-box software testing technique that tests programs by generating random test inputs. It is a widely used technique for software quality assurance, but there has been much debate by practitioners concerning its failure-detection effectiveness. However, RT is argued to be possibly less effective by some researchers as it does not utilize any information about the program under test. Efforts to mainly improve the failure-detection capability of RT, have led to the proposition of Adaptive Random Testing (ART). ART takes advantage of the location information of previous non-fault-detecting test cases to enhance effectiveness as compared to RT. The approach has gained popularity and has a large number of theoretical studies and methods that employ different notions. In this review, our goal is to provide an overview of existing ART methods for numeric programs. We classify and assess existing ART methods with a focus on their motivation, strategy, and findings. The study also discusses several worthy avenues related to ART. The review uses 54 ART papers in several journals, workshops, and conference proceedings. The results of the review show that significant research efforts have been made towards the field of ART, however further empirical studies are still required to make the technique applicable in different test scenarios in order to impact on the industry.

研究动机与目标

• 为现有数值程序自适应随机测试（ART）方法提供系统性分类。
• 评估54项发表于期刊、会议和研讨会的ART研究在动机、策略和实证发现方面的表现。
• 识别ART领域中研究不足的区域及具有前景的研究方向，以提升故障检测的有效性。
• 评估ART研究的当前状态，并强调在多样化测试场景中开展更多实证验证的必要性。

提出的方法

• 本综述分析了54篇发表于期刊、会议和研讨会的同行评审ART论文，聚焦于数值程序。
• 根据其底层策略（如几何方法、基于距离的方法或基于梯度的方法）对ART方法进行分类。
• 评估每种方法的动机，包括在传统随机测试基础上提升故障检测能力。
• 开展主题分析，以比较不同策略，评估理论基础，并识别各类方法之间的共性和差异。
• 综合各项研究的发现，以突出ART研究中的趋势、局限性及开放性挑战。

实验结果

研究问题

• RQ1 不同ART方法在数值程序中开发的主要动机是什么？
• RQ2 各种ART策略在选择测试用例以提升故障检测方面的具体方法有何不同？
• RQ3 在54项被综述的ART研究中，报告的关键理论和实证发现有哪些？
• RQ4 在推动ART向工业应用发展方面，仍存在哪些研究空白和挑战？

主要发现

• 在ART领域已投入大量研究努力，提出了众多理论方法，旨在提升故障检测的有效性，超越传统随机测试。
• 尽管理论发展充分，但本综述发现，在多样化测试场景中缺乏足够的实证验证。
• 许多ART方法依赖几何或基于距离的标准以避免测试用例聚集，但其在实际环境中的有效性仍缺乏充分评估。
• 综述指出，当前ART方法主要集中于数值输入域，对复杂或混合型程序类型的探索仍有限。
• 迫切需要开展更多实证研究，以弥合理论ART方法与实际软件测试应用之间的差距。