[论文解读] Causal testing: understanding defects' root causes

Brittany Johnson, Yuriy Brun+1 more|arXiv (Cornell University)|Jun 27, 2020

Software Engineering Research参考文献 74被引用 17

一句话总结

因果测试是一种新颖的根因分析方法，利用反事实因果关系识别揭示软件缺陷真正原因的执行路径。在Defects4J上的评估显示，该方法使开发人员在86%的案例中识别出根因，高于标准工具的80%，显著提升了调试效率。

ABSTRACT

Understanding the root cause of a defect is critical to isolating and repairing buggy behavior. We present Causal Testing, a new method of root-cause analysis that relies on the theory of counterfactual causality to identify a set of executions that likely hold key causal information necessary to understand and repair buggy behavior. Using the Defects4J benchmark, we find that Causal Testing could be applied to 71% of real-world defects, and for 77% of those, it can help developers identify the root cause of the defect. A controlled experiment with 37 developers shows that Causal Testing improves participants' ability to identify the cause of the defect from 80% of the time with standard testing tools to 86% of the time with Causal Testing. The participants report that Causal Testing provides useful information they cannot get using tools such as JUnit. Holmes, our prototype, open-source Eclipse plugin implementation of Causal Testing, is available at http://holmes.cs.umass.edu/.

研究动机与目标

• 为解决识别软件缺陷根因的挑战，这对有效调试至关重要。
• 通过提供有针对性的因果执行轨迹，减少开发人员诊断错误所花费的时间和精力。
• 开发一种揭示标准测试工具（如JUnit）无法提供的因果洞察的方法。
• 使用实证基准评估因果分析在真实世界软件缺陷中的有效性。

提出的方法

• 应用反事实因果理论分析程序执行，识别缺陷背后的因果因素。
• 生成一组仅在缺陷存在或不存在时有所不同的执行路径，以隔离因果变量。
• 使用原型Eclipse插件Holmes，将因果分析集成到开发工作流中。
• 分析执行路径，识别触发或阻止缺陷的最小条件集合。
• 优先选择能揭示最相关因果信息以用于调试的执行路径。
• 采用一种轨迹分析技术，比较执行路径并精确定位因果差异。

实验结果

研究问题

• RQ1 因果测试是否能比标准测试工具更有效地识别真实世界软件缺陷的根因？
• RQ2 在开发人员准确率方面，因果测试与传统调试方法相比如何？
• RQ3 因果测试提供了哪些标准工具（如JUnit）无法提供的因果信息？

主要发现

• 因果测试可应用于Defects4J基准中71%的真实世界缺陷。
• 在可应用的77%的缺陷中，因果测试帮助开发人员识别出根因。
• 在受控实验中，使用因果测试的开发人员在86%的案例中识别出根因，高于使用标准工具的80%。
• 参与者表示，因果测试提供了通过JUnit或类似工具无法获得的洞察。
• Holmes原型（一个开源Eclipse插件）成功地将因果测试集成到真实开发环境中。
• 该方法展示了实际可行性，并在调试效率方面实现了可衡量的提升。