[论文解读] Software Process Measurement and Related Challenges in Agile Software Development: A Multiple Case Study

Prabhat Ram, Pilar Rodríguez+1 more|arXiv (Cornell University)|Sep 4, 2018

Software Engineering Techniques and Practices被引用 6

一句话总结

本项多案例研究通过Q-Rapids项目在四个敏捷公司中应用目标-问题-度量（GQM）方法，探讨了敏捷环境中软件过程度量的动机及实际操作挑战。研究发现，各组织优先采用自定义度量指标来评估速度、测试表现和估算准确性，但由于技术与流程限制导致数据可得性严重受限，从而制约了有效度量实施。

ABSTRACT

Existing scientific literature highlights the importance of metrics in Agile Software Development (ASD). Still, empirical investigation into metrics in ASD is scarce, particularly in identifying the rationale and the operational challenges associated with metrics. Under the Q-Rapids project (Horizon 2020), we conducted a multiple case study at four Agile companies, using the Goal Question Metric (GQM) approach, to investigate the rationale explaining the choice of process metrics in ASD, and challenges faced in operationalizing them. Results reflect that companies are interested in assessing process aspects like velocity, testing performance, and estimation accuracy, and they prefer custom metrics for these assessments. Companies use metrics as a means to access and even capitalize on the data, erstwhile inaccessible due to technical or process constraints. However, development context of a company can hinder metrics operationalization, manifesting primarily as unavailability of the data required to measure metrics...(check the paper for full Abstract)

研究动机与目标

• 理解敏捷软件开发（ASD）环境中选择过程度量的动机。
• 识别敏捷组织在实施软件过程度量时面临的具体操作挑战。
• 研究公司如何利用度量指标获取因技术或流程限制而此前无法访问的数据。
• 调查自定义度量在评估速度、测试表现和估算准确性等关键过程方面的作用。

提出的方法

• 在参与Q-Rapids地平线2020项目的四个敏捷软件开发公司中开展多案例研究。
• 应用目标-问题-度量（GQM）方法系统识别并构建过程度量。
• 通过访谈和文档分析收集定性数据，以探究度量选择的动机及实施挑战。
• 分析数据以识别度量选择、使用以及度量实施障碍的模式。
• 聚焦于速度、测试表现和估算准确性等过程方面，评估度量的相关性。
• 采用主题分析提取有关数据可得性问题及影响度量实施的组织约束的洞察。

实验结果

研究问题

• RQ1 什么因素促使敏捷组织在其开发实践中选择特定的过程度量？
• RQ2 组织在敏捷环境中实施软件过程度量时面临的主要挑战是什么？
• RQ3 组织如何利用度量指标获取因系统或工作流限制而此前无法访问的数据？
• RQ4 企业在评估敏捷开发中的关键过程维度时，在多大程度上依赖自定义度量而非标准化度量？

主要发现

• 组织优先选择自定义度量而非标准化度量，以评估速度、测试表现和估算准确性等关键过程方面。
• 度量实施的主要障碍是所需数据的不可得性，其根源在于开发环境中的技术和流程限制。
• 度量不仅用于监控，还用于解锁因系统或工作流限制而此前无法访问的数据中的洞察。
• 尽管对过程度量有浓厚兴趣，但许多组织因数据基础设施不足或集成问题而难以实施度量。
• 本研究揭示了测量过程绩效的意愿与实际执行能力之间的差距，主要受数据访问和质量挑战的制约。
• 公司常根据特定需求开发临时性度量，表明其度量策略更倾向于反应式而非前瞻性。