[论文解读] A Review on the Process of Automated Software Testing

Durga Shree Nagabushanam, Sree Dharinya S+3 more|arXiv (Cornell University)|Sep 7, 2022

Software System Performance and Reliability被引用 7

一句话总结

本文回顾了自动化软件测试流程，强调其在现代IT环境中提升软件可靠性、效率和成本效益的作用。文章概述了手动测试的挑战，倡导采用基于工具的自动化以减少错误和周期时间，并指出有效的自动化可将测试成本降低高达75%，同时提升产品质量和发布速度。

ABSTRACT

The requirements in automation, digitalization, and fast computations have loaded the IT sector with expectations of highly reliable, efficient, and cost-effective software. Given that the process of testing, verification, and validation of software products consumes 50-75% of the total revenue if the testing process is ineffective, "n" times the expenditure must be invested to mend the havoc caused. A delay in project completion is often attributed to the testing phase because of the numerous cycles of debugging process. The software testing process determines the face of the product released to the user. It sets the standard and reliability of a company's outputs. As the complexity increases, testing gets intense so as to examine all the outliers and various branches of the processing flow. The testing process is automated using software tools to avoid the tedious manual process of test input generation and validation criteria, which certifies the program only to a certain confidence level in the presence of outliers.

研究动机与目标

• 分析由于软件复杂性增加和数字化转型需求上升，自动化软件测试日益增长的必要性。
• 识别手动测试的局限性，包括高成本和延迟，这些因素可能占项目总预算的50–75%。
• 评估自动化测试工具在提升测试覆盖率、减少人为错误和加速调试周期方面的作用。
• 研究自动化如何通过系统化处理异常值和复杂处理流程来增强软件可靠性和产品质量。
• 为软件工程领域的研究人员和实践者提供自动化测试流程的全面概述。

提出的方法

• 对软件工程领域中自动化软件测试流程的现有文献进行系统性综述。
• 分析测试生命周期，包括使用自动化工具进行测试用例设计、执行和验证。
• 评估基于工具的方法在测试输入生成和结果验证方面的应用，以减少人工工作量。
• 评估自动化对缩短测试周期时间以及提高软件正确性信心水平的影响。
• 结合案例研究见解和行业趋势，说明自动化测试框架的可扩展性和可靠性。
• 引入可视化表示（图表和表格）以总结测试阶段、工具集成和性能指标。

实验结果

研究问题

• RQ1 在现代软件开发中，手动软件测试面临的主要挑战是什么？
• RQ2 自动化软件测试如何降低软件验证与确认的时间和成本？
• RQ3 自动化工具在提升测试覆盖率和处理复杂处理流程方面发挥什么作用？
• RQ4 自动化以何种方式增强软件产品的可靠性和信心水平？
• RQ5 自动化测试的集成如何影响项目交付周期和软件质量？

主要发现

• 手动测试可能消耗项目总营收的50–75%，凸显了效率低下带来的财务负担。
• 自动化测试显著减少了测试输入生成和结果验证所需的时间与精力。
• 基于工具的自动化通过系统化处理异常值和边界情况，提高了对软件正确性的信心。
• 测试阶段是导致项目延迟的主要因素，而自动化可通过缩短周期时间加以缓解。
• 有效的自动化可提升软件可靠性并改善产品质量，直接增强客户信任度和公司声誉。
• 使用自动化工具可实现一致且可重复的测试，减少人为错误并提高测试覆盖率。