[论文解读] A Method to Assess and Argue for Practical Significance in Software Engineering

Richard Torkar, Carlo A. Furia+5 more|arXiv (Cornell University)|Sep 26, 2018

Software Engineering Research参考文献 39被引用 20

一句话总结

本文提出了一种结合累积前景理论的贝叶斯统计框架，以严格评估经验性软件工程中的实际显著性。通过使用多层次贝叶斯回归建模数据，并将概率结果转化为与领域相关的效用度量（例如成本、时间），该方法使从业者能够做出知情的、上下文敏感的决策——在小规模实证研究中表明，与基于p值的传统分析相比，该方法可提高决策者的信心。

ABSTRACT

A key goal of empirical research in software engineering is to assess practical significance, which answers whether the observed effects of some compared treatments show a relevant difference in practice in realistic scenarios. Even though plenty of standard techniques exist to assess statistical significance, connecting it to practical significance is not straightforward or routinely done; indeed, only a few empirical studies in software engineering assess practical significance in a principled and systematic way. In this paper, we argue that Bayesian data analysis provides suitable tools to assess practical significance rigorously. We demonstrate our claims in a case study comparing different test techniques. The case study's data was previously analyzed (Afzal et al., 2015) using standard techniques focusing on statistical significance. Here, we build a multilevel model of the same data, which we fit and validate using Bayesian techniques. Our method is to apply cumulative prospect theory on top of the statistical model to quantitatively connect our statistical analysis output to a practically meaningful context. This is then the basis both for assessing and arguing for practical significance. Our study demonstrates that Bayesian analysis provides a technically rigorous yet practical framework for empirical software engineering. A substantial side effect is that any uncertainty in the underlying data will be propagated through the statistical model, and its effects on practical significance are made clear. Thus, in combination with cumulative prospect theory, Bayesian analysis supports seamlessly assessing practical significance in an empirical software engineering context, thus potentially clarifying and extending the relevance of research for practitioners.

研究动机与目标

• 解决经验性软件工程研究中系统评估实际显著性的空白。
• 摆脱对p值和效应量的依赖，通过实际度量（如成本、时间、人员）来确立显著性的基础。
• 提供一种整合专家知识与不确定性传播的方法，以实现更透明、更具可操作性的研究成果。
• 通过以决策相关效用表达结果，改善研究成果向从业者传达影响力的方式。
• 通过一项小规模实证研究验证该方法在提升决策者信心方面的有效性。

提出的方法

• 开发多层次贝叶斯模型，分析来自软件测试案例研究的经验数据，捕捉团队和情境间的变异性。
• 基于专家知识使用信息性先验，整合领域特定约束并减少过拟合。
• 应用累积前景理论（CPT）将后验预测概率映射为反映风险偏好与决策权衡的效用值。
• 将统计结果转化为实际度量，如每小时成本和程序员职级，以体现真实世界的影响。
• 使用模型诊断（例如先验预测检验、信息准则）确保模型稳健性并避免过拟合。
• 通过经理调查比较贝叶斯-CPT展示与传统频率学派结果在决策信心方面的差异，验证该方法。

实验结果

研究问题

• RQ1 如何以系统化、上下文敏感的方式评估软件工程研究中的实际显著性？
• RQ2 将贝叶斯建模与累积前景理论结合，能在多大程度上提升决策者对研究结果的信心？
• RQ3 能否有效利用领域特定度量（如成本、时间）以统计严谨的方式表达实际显著性？
• RQ4 所提出的方法如何处理不确定性，并将其传播至实际决策过程？
• RQ5 贝叶斯-CPT方法在传达研究相关性方面，相较于传统零假设显著性检验有何优势？

主要发现

• 与基于p值的传统报告方式相比，贝叶斯-CPT方法显著提高了决策者在选择测试技术时的信心。
• 该方法成功地将统计结果转化为可操作的、与领域相关的度量，如每小时成本和程序员职级。
• 数据中的不确定性在模型中得到清晰传播，使变异性对实际决策的影响变得可见且可量化。
• 模型比较与诊断检查证实了贝叶斯模型的稳健性，未发现过拟合或不稳定的证据。
• 累积前景理论的应用使决策者对风险和权衡的感知得到更真实的反映。
• 该方法表明，通过结合统计建模与行为决策理论，可以系统性地论证实际显著性。