[论文解读] A conversation around the analysis of the SiP effort estimation dataset

Derek M. Jones, Stephen Cullum|arXiv (Cornell University)|Jan 6, 2019

Software Engineering Research参考文献 8被引用 4

一句话总结

本文对 SiP 工作量估算数据集进行了对话式分析——该数据集包含来自 20 个项目中 22 名开发者的 10,100 项任务估算，时间跨度超过 10 年——揭示了估算准确率显著受到个体开发者的差异、项目背景以及四舍五入偏差的影响。尽管估算实践有所改进，但回归模型并未表现出明显的性能提升，凸显了统计建模在捕捉敏捷环境中人类估算行为方面的局限性。

ABSTRACT

The analysis of over ten years of commercial development using Agile (10,100 unique task estimates made by 22 developers, under 20 project codes) is documented via a conversation involving the data analyst and a director of the company that created the SiP dataset. Factors found to influence task implementation effort estimation accuracy include the person making the estimate, the project involved, and the propensity to use round numbers. Any improvement in estimation accuracy, with practice, did not noticeably improve regression models fitted.

研究动机与目标

• 利用来自商业敏捷开发环境的真实世界大规模数据集，研究影响软件任务工作量估算准确性的因素。
• 探讨个体开发人员行为、项目特定动态以及估算实践如何随时间影响估算准确率。
• 评估改进的估算实践是否能带来回归模型中估算性能的可测量提升。
• 理解客户参与和组织实践在塑造估算行为和结果中的作用。
• 为软件组织提供可操作的见解，通过实证分析实现数据收集与估算改进。

提出的方法

• 通过领域专家（Stephen Cullum）与数据分析师（Derek Jones）之间的对话，开展迭代式数据分析，将领域知识与统计技术相结合。
• 分析了来自 SiP 数据集的 12,299 行匿名数据，包括任务估算、实际工作量、开发人员 ID、项目代码和 2004 年至 2014 年的时间戳。
• 使用 R 进行统计建模与可视化，将代码片段整合到分析叙述中以支持发现。
• 通过相对误差和偏差等指标评估估算准确率，比较不同开发人员、项目和时间段的表现。
• 探索四舍五入数字使用的模式及其与估算不准确性的相关性。
• 评估客户参与和发布规划实践对估算行为和结果的影响。

实验结果

研究问题

• RQ1 在敏捷环境中，哪些因素显著影响软件任务工作量估算的准确性？
• RQ2 个体开发人员行为如何影响估算准确率？经验是否带来可测量的改进？
• RQ3 使用四舍五入数字在多大程度上影响估算不准确性？
• RQ4 随着时间推移，估算实践的改进是否导致回归模型性能的提升？
• RQ5 客户参与以及项目阶段（开发阶段 vs. 支持阶段）如何影响估算行为和结果？

主要发现

• 估算准确率显著受到个体开发人员的影响，22 名开发人员在偏差和精度方面表现出显著差异。
• 项目特定因素，包括客户参与和项目阶段，对估算行为和结果有强烈影响。
• 观察到强烈的使用四舍五入数字的倾向，这导致估算出现系统性不准确。
• 尽管观察到估算实践随时间有所改进，但回归模型并未表现出明显的性能提升。
• 在 2008 年后支持阶段，高估更为常见，且被客户接受，表明估算行为出现了战略性转变。
• 在开发阶段客户参与度较高时，估算准确率更高；而在支持阶段客户参与度降低则与高估相关。