[论文解读] Bayesian Statistics in Software Engineering: Practical Guide and Case Studies

Carlo A. Furia|arXiv (Cornell University)|Aug 24, 2016

Software Engineering Research参考文献 36被引用 3

一句话总结

本文主张将贝叶斯统计作为经验性软件工程中频率学派方法的实用且更优的替代方案。通过三个案例研究——敏捷开发与结构化开发的对比、编程语言性能比较、随机测试——本文表明，贝叶斯分析通过量化不确定性、整合先验知识以及使用贝叶斯因子替代p值，能够提供更细致、稳健且可解释的结果。

ABSTRACT

Statistics comes in two main flavors: frequentist and Bayesian. For historical and technical reasons, frequentist statistics has dominated data analysis in the past; but Bayesian statistics is making a comeback at the forefront of science. In this paper, we give a practical overview of Bayesian statistics and illustrate its main advantages over frequentist statistics for the kinds of analyses that are common in empirical software engineering, where frequentist statistics still is standard. We also apply Bayesian statistics to empirical data from previous research investigating agile vs. structured development processes, the performance of programming languages, and random testing of object-oriented programs. In addition to being case studies demonstrating how Bayesian analysis can be applied in practice, they provide insights beyond the results in the original publications (which used frequentist statistics), thus showing the practical value brought by Bayesian statistics.

研究动机与目标

• 解决尽管存在局限性，频率学派统计在经验性软件工程中仍占主导地位的问题，尤其是在结果显著性与不确定性的解释方面。
• 证明贝叶斯分析通过整合先验知识并量化不确定性，能够提供更可靠且可解释的结果。
• 表明贝叶斯方法能够对原本使用频率学派技术分析的既有实证研究结论进行细化或强化。
• 为研究人员提供实用指南，以在软件工程研究中采纳贝叶斯分析。
• 通过使用信息性先验和基于贝叶斯因子的模型比较，减轻对结论有效性与外部有效性的威胁。

提出的方法

• 应用贝叶斯定理，将先验信念与观测数据结合，生成反映更新后知识的后验分布。
• 使用贝叶斯因子替代p值，以比较不同假设之间的证据强度。
• 从先前研究或独立数据中引入信息性先验，以提升模型的稳健性与泛化能力。
• 通过后验分布显式建模不确定性，而非依赖单点估计。
• 通过可视化后验分布与模型比较结果，指导分析与解释过程。
• 通过补充来自类似研究的额外数据，强化结论并检验先验假设的敏感性。

实验结果

研究问题

• RQ1 与频率学派假设检验相比，贝叶斯分析在经验性软件工程结果解释方面有何改进？
• RQ2 先验信念与外部数据在软件工程案例研究中对贝叶斯结果的稳健性与可靠性有多大影响？
• RQ3 在敏捷开发与结构化开发流程的研究中，贝叶斯方法是否能提供比p值更细致的洞察？
• RQ4 在软件库的缺陷数量估计方面，贝叶斯估计与频率学派方法在不确定性量化方面有何差异？
• RQ5 贝叶斯统计在多大程度上能缓解经验性软件工程研究中的有效性威胁，特别是结论有效性与外部有效性？

主要发现

• 在敏捷开发与结构化开发对比的案例研究中，贝叶斯分析提供了比频率学派方法更易解释且更稳健的结果，贝叶斯因子提供的证据比p值更清晰。
• 在编程语言性能研究中，通过信息性先验整合外部数据，显著提升了结果的可信度，凸显了先验信息的价值。
• 在面向对象程序的随机测试中，贝叶斯估计即使在采用抽象化建模假设的情况下，仍能产生可靠且包含不确定性量化的总缺陷数估计。
• 使用贝叶斯因子使证据评估更加平衡，降低了将非显著结果误解为无效应证据的风险。
• 通过不同先验的敏感性分析表明，当存在强有力的实验证据时，结论具有稳健性，支持了结果的泛化能力。
• 可视化后验分布使对模型行为的深入洞察成为可能，并有助于优化分析决策，凸显了图形化模型检验的重要性。