[论文解读] Arguing Practical Significance in Software Engineering Using Bayesian Data Analysis.

Richard Torkar, Robert Feldt+1 more|arXiv (Cornell University)|Sep 26, 2018

Software Engineering Research参考文献 53被引用 5

一句话总结

本文倡导将贝叶斯数据分析（BDA）与累积前景理论（CPT）结合，以更好地评估经验性软件工程中的实际意义。通过使用多层次贝叶斯建模、样本外预测和不确定性量化，该方法超越了p值，提供了一套理论坚实、实用的分析工作流程，能够将统计结果与实际影响有效关联。

ABSTRACT

This paper provides a case for using Bayesian data analysis (BDA) to make more informed claims regarding practical significance of software engineering research. We show that using BDA, here combined with cumulative prospect theory (CPT), is appropriate when a researcher or practitioner wants to make more explicit connections between statistical findings and practical significance in empirical software engineering research. To illustrate our point, we provide an example case using previously published data. We build a multilevel Bayesian model for this data, for which we compare the out of sample predictive power. Finally, we use our model to make out of sample predictions while, ultimately, connecting this to practical significance using CPT. Throughout the case that we present, we argue that a Bayesian approach is a natural, theoretically well-grounded, practical work-flow for data analysis in empirical software engineering. By including prior beliefs, assuming parameters are drawn from a probability distribution, assuming the true value is a random variable for uncertainty intervals, using counter-factual plots for sanity checks, conducting predictive posterior checks, and out of sample predictions, we will better understand the phenomenon being studied, while at the same time avoid the obsession with $p$-values.

研究动机与目标

• 解决经验性软件工程研究中统计发现与实际意义之间关联不足的问题。
• 减少在软件工程研究中对p值和零假设显著性检验的过度依赖。
• 开发一种理论坚实、实用的数据分析工作流程，整合先验信念与不确定性。
• 展示贝叶斯建模如何支持样本外预测和反事实推理。
• 通过累积前景理论（CPT）将统计结果与实际决策联系起来。

提出的方法

• 构建多层次贝叶斯模型，用于分析先前发表的软件工程数据。
• 使用先验分布编码对模型参数的既有信念，将真实值视为随机变量。
• 应用概率分布表示不确定性，从而支持可信区间而非置信区间。
• 进行后验预测检验以验证模型拟合度并检验模型行为的合理性。
• 生成样本外预测，以评估模型性能和实际应用价值。
• 整合累积前景理论（CPT），将统计发现映射到决策情境中的实际意义。

实验结果

研究问题

• RQ1 贝叶斯数据分析在多大程度上能改善软件工程研究中实际意义的评估？
• RQ2 整合先验信念与不确定性在多大程度上能提升经验结果的可解释性？
• RQ3 贝叶斯模型的样本外预测能否提供超越传统p值的可操作洞察？
• RQ4 累积前景理论（CPT）如何帮助将统计发现转化为实际决策？
• RQ5 与传统的NHST相比，贝叶斯工作流程在经验性软件工程中具有哪些优势？

主要发现

• 贝叶斯方法能够实现统计结果与实际影响之间更透明、更易理解的关联。
• 多层次贝叶斯模型的样本外预测性能表现出稳健性和可靠性，适用于未来预测。
• 反事实图和后验预测检查验证了模型行为，增强了对结果的信心。
• 累积前景理论（CPT）的整合使研究人员能够在决策理论框架下评估实际意义。
• 通过用不确定性区间和预测检验替代p值，该方法降低了将统计显著性误认为实际重要性的风险。
• 所提出的流程支持一种有原则的、以理论为导向的数据分析方法，与真实世界中的软件工程决策过程保持一致。