[论文解读] Product Backlog Rating: A Case Study On Measuring Test Quality In Scrum

Imrul Kayes, Mithun Sarker+1 more|arXiv (Cornell University)|Oct 9, 2013

Software Engineering Research参考文献 63被引用 4

一句话总结

本文提出了产品待办事项评分（PBR）指标，通过评估功能复杂度和测试评估等级，量化评估Scrum中的测试质量，为测试过程提供数值化评分。基于SoftwarePeople公司的案例研究，PBR使团队能够迭代地监控和提升测试质量，为敏捷环境中的过程质量管理提供实用框架。

ABSTRACT

Agile software development methodologies focus on software projects which are behind schedule or highly likely to have a problematic development phase. In the last decade, Agile methods have transformed from cult techniques to mainstream methodologies. Scrum, an Agile software development method, has been widely adopted due to its adaptive nature. This paper presents a metric that measures the quality of the testing process in a Scrum process. As product quality and process quality correlate, improved test quality can ensure high quality products. Also, gaining experience from eight years of successful Scrum implementation at SoftwarePeople, we describe the Scrum process emphasizing the testing process. We propose a metric Product Backlog Rating (PBR) to assess the testing process in Scrum. PBR considers the complexity of the features to be developed in an iteration of Scrum, assesses test ratings and offers a numerical score of the testing process. This metric is able to provide a comprehensive overview of the testing process over the development cycle of a product. We present a case study which shows how the metric is used at SoftwarePeople. The case study explains some features that have been developed in a Sprint in terms of feature complexity and potential test assessment difficulties and shows how PBR is calculated during the Sprint. We propose a test process assessment metric that provides insights into the Scrum testing process. However, the metric needs further evaluation considering associated resources (e.g., quality assurance engineers, the length of the Scrum cycle).

研究动机与目标

• 解决在Scrum中衡量测试过程质量的挑战，这是敏捷开发中一个关键但常具主观性的问题。
• 开发一个可量化的指标，反映测试活动的质量，鉴于过程质量与产品质量之间存在强相关性。
• 利用SoftwarePeople公司八年成功的Scrum实施经验，使该指标建立在实际应用基础之上。
• 为团队提供一个实用且可操作的框架，以在整个产品开发周期中监控和提升测试质量。
• 通过提供与Sprint级别指标挂钩的反馈机制，支持敏捷测试实践的持续改进。

提出的方法

• PBR指标基于产品待办事项中功能的复杂度以及为每个功能分配的测试评估等级进行计算。
• 测试评估等级由质量保证工程师根据测试覆盖率、测试设计难度和测试执行复杂度等因素确定。
• 功能复杂度通过预定义的标准进行评估，例如功能依赖关系、集成点和风险等级。
• 该指标将单个功能的评分汇总为每个Sprint的综合评分，从而支持随时间的趋势分析。
• 该方法在SoftwarePeople公司的实际案例研究中应用，展示了PBR在多个Sprint中的计算过程。
• 该方法通过允许团队识别测试薄弱环节并相应调整测试策略，支持反馈回路。

实验结果

研究问题

• RQ1 如何以可量化且可操作的方式衡量Scrum中的测试质量？
• RQ2 在Scrum Sprint中，哪些因素会影响测试某个功能的复杂度？
• RQ3 如何对测试评估等级进行标准化，并用于生成测试过程质量的综合指标？
• RQ4 PBR指标在多大程度上能够反映Scrum环境中测试过程的整体有效性？
• RQ5 PBR指标如何支持敏捷测试实践的持续改进？

主要发现

• 产品待办事项评分（PBR）指标通过将功能复杂度和测试评估等级整合为单一数值评分，成功量化了测试过程质量。
• SoftwarePeople公司的案例研究证明，PBR可实际应用于多个Sprint中，以监控测试质量并提供可操作的洞察。
• PBR使团队能够在Sprint初期识别出测试复杂度高的功能，从而实现更优的测试规划和资源分配。
• 该指标通过突出显示测试工作中的不一致或薄弱环节（如测试不足或高风险功能），支持流程改进。
• PBR框架具有可扩展性，可作为Scrum团队现有质量管理实践的补充。
• 尽管PBR侧重于质量保证工程师的输入，作者也承认未来工作需扩展至包含开发人员的测试贡献。