[论文解读] CADET: Debugging and Fixing Misconfigurations using Counterfactual Reasoning

Rahul Krishna, Shahriar Iqbal+3 more|arXiv (Cornell University)|Oct 12, 2020

Software Testing and Debugging Techniques参考文献 90被引用 7

一句话总结

CADET 是一个因果调试工具包，通过从观测数据构建因果模型并应用反事实推理，识别、解释并修复高度可配置系统中的非功能性故障。与基于机器学习的方法相比，它在准确率上最高提升13%，性能提升提高32%，修复发现速度加快13倍；与多目标优化相比，修复速度最快可快8倍，且结果相当或更优。

ABSTRACT

Modern computing platforms are highly-configurable with thousands of interacting configurations. However, configuring these systems is challenging. Erroneous configurations can cause unexpected non-functional faults. This paper proposes CADET (short for Causal Debugging Toolkit) that enables users to identify, explain, and fix the root cause of non-functional faults early and in a principled fashion. CADET builds a causal model by observing the performance of the system under different configurations. Then, it uses casual path extraction followed by counterfactual reasoning over the causal model to: (a) identify the root causes of non-functional faults, (b) estimate the effects of various configurable parameters on the performance objective(s), and (c) prescribe candidate repairs to the relevant configuration options to fix the non-functional fault. We evaluated CADET on 5 highly-configurable systems deployed on 3 NVIDIA Jetson systems-on-chip. We compare CADET with state-of-the-art configuration optimization and ML-based debugging approaches. The experimental results indicate that CADET can find effective repairs for faults in multiple non-functional properties with (at most) 17% more accuracy, 28% higher gain, and $40 imes$ speed-up than other ML-based performance debugging methods. Compared to multi-objective optimization approaches, CADET can find fixes (at most) $9 imes$ faster with comparable or better performance gain. Our case study of non-functional faults reported in NVIDIA's forum show that CADET can find $14%$ better repairs than the experts' advice in less than 30 minutes.

研究动机与目标

• 解决在高度可配置系统中，由于配置选项之间复杂且非线性的相互作用导致的非功能性故障诊断与修复挑战。
• 在不引发系统崩溃的前提下，实现对性能退化（如延迟、能耗和发热）根源的早期检测与有原则的解释。
• 通过反事实推理估计配置变更的因果效应，提供可操作且高质量的修复建议。
• 克服现有基于机器学习和优化的方法缺乏因果理解、无法解释为何某些配置会降低性能的局限性。
• 通过自动化根因分析与修复建议，将每年高达5万亿美元的非功能性故障调试时间和成本降低。

提出的方法

• CADET 通过观察系统在多种配置下的性能表现，构建因果模型，捕捉配置选项、系统事件与性能指标之间的相互依赖关系。
• 执行因果路径提取，识别配置参数与性能结果之间的直接与间接因果关系。
• 利用反事实推理，通过干预特定配置选项模拟“如果……会怎样”的情景，以估计其对性能目标的影响。
• 计算反事实效应，确定哪些配置更改可逆转或缓解观察到的性能退化。
• 根据估计的因果影响对配置选项进行排序，并推荐能最大化性能提升且最小化副作用的候选修复方案。
• CADET 集成至现有的性能监控流水线，支持动态重新配置，实现实时诊断与修复建议。

实验结果

研究问题

• RQ1 CADET 是否能利用因果推断与反事实推理，准确识别高度可配置系统中非功能性故障的根本原因？
• RQ2 CADET 的修复建议质量与专家建议及最先进基于机器学习的调试工具相比如何？
• RQ3 CADET 在速度和性能提升方面，相较于多目标优化和基于机器学习的性能调试，优势有多大？
• RQ4 CADET 能否检测并解释系统性能数据中常见的非直观因果关系（如被混淆变量掩盖的虚假相关性）？
• RQ5 CADET 在真实系统中的故障诊断效果如何？其在NVIDIA开发者论坛报告的问题上的表现是否具有说服力？

主要发现

• 与最先进基于机器学习的调试方法相比，CADET 在识别非功能性故障根本原因方面准确率最高提升13%。
• 在推荐配置修复时，CADET 平均实现32%更高的性能提升，显著优于现有基于机器学习的方法。
• 与基于机器学习的调试技术相比，CADET 发现有效修复的速度快13倍，将实际案例中的修复时间从数小时缩短至30分钟以内。
• 与多目标优化相比，CADET 找到修复方案的速度最快可快8倍，同时实现相当或更优的性能改进。
• 在NVIDIA开发者论坛报告的真实故障中，CADET 推荐的修复方案比专家提供的方案有效14%，且耗时不足30分钟。
• 通过因果路径分析，CADET 识别出交换内存为混淆变量，成功逆转了GPU内存增长与延迟之间的虚假相关性。