[论文解读] Software Testing Process Models Benefits & Drawbacks: a Systematic Literature Review.

Katarína Hrabovská, Bruno Rossi+1 more|arXiv (Cornell University)|Jan 5, 2019

Software Engineering Techniques and Practices参考文献 73被引用 10

一句话总结

本篇系统文献回顾从实证研究中识别出17种软件测试流程模型，分析其在不同组织背景和领域中的优势、劣势及适用性。研究为从业者提供了基于证据的见解，以根据特定企业规模和行业需求选择合适的模型，强调情境适配性，而非‘一刀切’的宣称。

ABSTRACT

Context: Software testing plays an essential role in product quality improvement. For this reason, several software testing models have been developed to support organizations. However, adoption of testing process models inside organizations is still sporadic, with a need for more evidence about reported experiences. Aim: Our goal is to identify results gathered from the application of software testing models in organizational contexts. We focus on characteristics such as the context of use, practices applied in different testing process phases, and reported benefits & drawbacks. Method: We performed a Systematic Literature Review (SLR) focused on studies about the application of software testing processes, complemented by results from previous reviews. Results: From 35 primary studies and survey-based articles, we collected 17 testing models. Although most of the existing models are described as applicable to general contexts, the evidence obtained from the studies shows that some models are not suitable for all enterprise sizes, and inadequate for specific domains. Conclusion: The SLR evidence can serve to compare different software testing models for applicability inside organizations. Both benefits and drawbacks, as reported in the surveyed cases, allow getting a better view of the strengths and weaknesses of each model.

研究动机与目标

• 识别并分析在真实组织环境中应用的软件测试流程模型。
• 从实证研究中考察这些模型报告的优势与劣势。
• 评估不同组织规模和领域（如嵌入式系统或国防领域）中模型的适用性。
• 支持从业者基于实证证据选择合适的测试模型。
• 通过聚焦工业经验与实际实施挑战，拓展以往的综述研究。

提出的方法

• 遵循PRISMA指南开展系统文献回顾（SLR），以确保可重复性与透明度。
• 通过从研究问题中提取关键词并迭代优化查询，搜索多个学术数据库。
• 依据预设的纳入与排除标准筛选研究，重点关注实证研究与基于调查的文章。
• 提取有关模型特征、应用领域、改进方面以及报告的优势/劣势的数据。
• 将研究发现与Garcia等人、Afzal等人及Garousi等人先前的综述进行对比，以识别研究空白与新见解。
• 评估有效性威胁，包括解释性、外部性与可重复性有效性，以确保方法论严谨性。

实验结果

研究问题

• RQ1 在工业环境中，哪些软件测试流程模型最为常见？它们在哪些领域中被使用？
• RQ2 组织在采用这些测试模型时，报告了哪些优势与劣势？
• RQ3 组织特征（如规模与领域）如何影响测试模型的适用性？
• RQ4 在现实世界中，不同测试流程阶段具体应用了哪些测试实践？
• RQ5 测试模型在嵌入式系统或国防等特定领域中，其可适配程度如何？

主要发现

• 从35篇主要研究与基于调查的文章中识别出17种不同的软件测试流程模型。
• 尽管大多数模型被描述为具有普遍适用性，但实证证据表明其在所有企业规模或领域中并非普遍适用。
• 最常报告的改进是测试流程的标准化，其次是产品质量提升与缺陷检测/减少。
• 在嵌入式软件与国防系统等专业领域，组织报告称许多模型不充分或需要大量定制。
• 模型采纳通常受情境特定因素影响，包括组织规模、项目复杂性及领域特定的法规要求。
• 不同模型的实践存在显著差异，尤其在测试规划、设计、执行与度量阶段，影响了模型的选择。