[论文解读] Applications of statistical causal inference in software engineering

Julien Siebert|arXiv (Cornell University)|Nov 21, 2022

Bayesian Modeling and Causal Inference被引用 4

一句话总结

本文对2010至2022年间25篇软件工程论文进行了系统映射研究，采用Pearl的统计因果推断框架与图形因果模型。研究发现，软件工程中的因果推断仍处于初期阶段，零散且主要聚焦于软件质量，尽管方法论潜力不断增长，但社区层面的实现与评估标准仍不明确。

ABSTRACT

This paper reviews existing work in software engineering that applies statistical causal inference methods. These methods aim at estimating causal effects from observational data. The review covers 32 papers published between 2010 and 2022. Our results show that the application of statistical causal inference methods is relatively recent and that the corresponding research community remains relatively fragmented.

研究动机与目标

• 调查Pearl的统计因果推断（SCI）框架在软件工程（SE）中应用的广度与性质。
• 识别当前实践状态、关键研究领域及在SE问题中应用图形因果模型的方法论趋势。
• 评估是否已形成一个关于SE中因果推断实现与评估的连贯实践共同体。
• 为SE从业者与研究人员提供基础性概览，以评估因果推断方法在经验性SE研究中的潜力与局限性。

提出的方法

• 遵循Kitchenham和Charters的指南，开展系统映射研究，分析2010至2022年间25篇经过同行评审及预印本论文。
• 采用两阶段滚雪球法，通过多个搜索查询识别相关文献，经过两轮后达到饱和。
• 由单一评审员负责筛选与分析，以确保一致性，研究发现通过与作者及工作组讨论得到验证。
• 聚焦于应用Pearl的do-演算与图形因果模型（DAGs）的论文，排除仅使用潜在结果框架或非SE导向AI应用的论文。
• 根据研究领域、方法论路径与应用领域对论文进行分类，以识别模式与空白。
• 由于可及性与发表质量的顾虑，排除了硕士与博士论文，但包含具有方法论相关性的预印本与技术报告。

实验结果

研究问题

• RQ1 Pearl的图形因果模型框架在软件工程研究中应用的广度与方式如何？
• RQ2 因果推断方法最常应用于哪些软件工程领域与问题类型？
• RQ3 在将因果推断应用于SE数据时，所采用的关键方法论路径与假设是什么？
• RQ4 是否存在一个围绕SE中因果推断发展的连贯实践共同体，还是研究领域仍处于碎片化状态？
• RQ5 基于现有文献，采用因果推断方法在SE中面临的主要优势、局限与挑战是什么？

主要发现

• Pearl的统计因果推断框架在软件工程中的应用相对较新，25篇选中论文中仅有12篇发表于2020年及以后。
• 多数研究聚焦于软件质量分析，特别是错误定位与代码质量预测，表明该领域存在显著集中化趋势。
• 在SE中实现或评估因果推断方面，尚未建立或广泛采用的实践共同体，表明研究格局仍较为零散。
• 因果图形模型的应用仍处于萌芽阶段，许多研究人员虽可能从中受益，但并未明确使用该框架。
• 尽管方法论潜力显著，但该领域在模型构建、验证或评估方面缺乏标准化实践，且发表偏倚可能夸大了性能提升的感知效果。
• 术语上缺乏共识——例如，将‘因果推断’用于结构发现，或将‘因果分析’用于反事实测试——凸显了该领域在概念与词汇上的模糊性。