[论文解读] Analysis of Test Efficiency during Software Development Process

T. R. Gopalakrishnan Nair, V. Suma+1 more|arXiv (Cornell University)|Mar 29, 2012

Software Engineering Research参考文献 2被引用 9

一句话总结

本文通过四家公司的案例研究，调查了软件开发各阶段的测试效率，发现需求和设计阶段的测试效果低下。研究主张采用设计解决方案的动态测试替代静态文档评审，以更早发现缺陷，减少返工，提升质量，增强软件的可持续性与生产力。

ABSTRACT

One of the prerequisites of any organization is an unvarying sustainability in the dynamic and competitive industrial environment. Development of high quality software is therefore an inevitable constraint of any software industry. Defect management being one of the highly influencing factors for the production of high quality software, it is obligatory for the software organizations to orient them towards effective defect management. Since, the time of software evolution, testing is deemed a promising technique of defect management in all IT industries. This paper provides an empirical investigation of several projects through a case study comprising of four software companies having various production capabilities. The aim of this investigation is to analyze the efficiency of test team during software development process. The study indicates very low-test efficiency at requirements analysis phase and even lesser test efficiency at design phase of software development. Subsequently, the study calls for a strong need to improve testing approaches using techniques such as dynamic testing of design solutions in lieu of static testing of design document. Dynamic testing techniques enhance the ability of detection and elimination of design flaws right at the inception phase and thereby reduce the cost and time of rework. It further improves productivity, quality and sustainability of software industry.

研究动机与目标

• 评估软件开发生命周期不同阶段的测试效率。
• 识别当前需求和设计阶段测试实践中的低效问题。
• 提出动态测试技术以替代静态设计文档评审。
• 提升软件质量，降低返工成本，增强整体开发生产力。

提出的方法

• 在四家生产能力各异的软件公司中开展实证案例研究。
• 收集并分析软件开发生命周期多个项目中的测试效率数据。
• 对比实际中设计文档的静态测试与设计解决方案的动态测试。
• 评估通过动态测试实现早期缺陷检测对返工和项目周期的影响。
• 使用定量指标评估需求、设计和实现阶段的测试效率。
• 提出将早期开发阶段的测试方式从静态转向动态，以提升缺陷检测能力。

实验结果

研究问题

• RQ1 软件开发的需求、设计和实现阶段的测试效率如何变化？
• RQ2 对设计文档进行静态测试在早期发现设计缺陷方面存在哪些局限性？
• RQ3 对设计解决方案进行动态测试在早期开发阶段能多大程度上提升缺陷检测能力？
• RQ4 从静态测试转向动态测试对返工成本和项目周期有何影响？
• RQ5 通过改进早期测试方法，可在软件质量和生产力方面实现哪些提升？

主要发现

• 在需求分析阶段，测试效率被发现极低。
• 在设计阶段，测试效率进一步下降，表明存在显著的低效问题。
• 对设计文档的静态测试未能早期发现关键设计缺陷，导致高昂的返工成本。
• 对设计解决方案的动态测试显著提升了早期设计缺陷的检测能力。
• 转向动态测试减少了返工时间和成本，提升了整体项目生产力。
• 在早期阶段实施动态测试改善了软件质量与长期可持续性。