[论文解读] Dynamic Analysis of Regression Problems in Industrial Systems: Challenges and Solutions

Fabrizio Pastore, Leonardo Mariani|arXiv (Cornell University)|May 23, 2017

Software Testing and Debugging Techniques参考文献 9被引用 10

一句话总结

本文提出了一种集成方法，结合运行时验证、规范挖掘和静态分析，以检测和诊断工业软件系统中的回归故障。通过从执行轨迹中自动挖掘行为属性，利用模型检查剔除不准确的属性，并仅监控相关代码区域，该方法通过在通过和失败的测试用例上进行运行时检查，有效识别出回归故障，显著减少误报，并提升在实际部署中的开发人员可用性。

ABSTRACT

This paper presents the result of our experience with the ap- plication of runtime verification, testing and static analysis techniques to several industrial projects. We discuss the eight most relevant challenges that we experienced, and the strategies that we elaborated to face them.

研究动机与目标

• 解决在大型、持续演化的工业软件系统中检测回归故障的挑战，其中手动编写属性不切实际。
• 通过从运行时轨迹中使用规范挖掘自动推导属性，克服手动编写属性的局限性。
• 通过静态分析（例如模型检查）过滤挖掘出的属性，仅保留形式化验证为正确的属性，从而减少误报并提高诊断准确性。
• 通过避免代码插桩并支持持续集成流水线，实现与工业开发工作流的无缝集成。
• 通过分层组织输出并优先呈现有意义的因果链而非噪声，提升故障诊断的有效性。

提出的方法

• 从基础软件版本的执行轨迹中收集以提取行为模式。
• 使用规范挖掘技术从轨迹中挖掘候选行为属性，重点关注变量值和操作序列。
• 应用静态分析（例如模型检查）剔除不准确或过拟合的属性，仅保留对基础系统形式化验证为正确的属性。
• 在升级后的系统上监控通过的测试用例，以识别已被更改所故意失效的过时属性。
• 使用剩余的最新属性监控升级后系统中的失败测试用例，检测异常事件以解释回归故障。
• 对最新属性应用静态验证，以发现未被任何测试用例触发的回归故障，从而提升故障覆盖度。

实验结果

研究问题

• RQ1 如何在不依赖手动编写的属性的前提下，自动检测工业系统中的功能回归故障？
• RQ2 在使用自动挖掘的属性时，有哪些策略可以减少运行时验证中的误报？
• RQ3 如何将监控聚焦于相关代码区域，以提升在大型工业系统中的可扩展性？
• RQ4 运行时验证如何无缝集成到现有的工业CI/CD流水线中？
• RQ5 如何组织诊断输出以支持开发人员高效进行根本原因分析？

主要发现

• 规范挖掘成功生成了一组功能属性，可作为工业系统中手动指定属性的有效替代。
• 通过模型检查进行静态修剪显著减少了不准确或过拟合的属性数量，提高了分析的可靠性。
• 将监控聚焦于变更代码的功能邻域（同时排除被修改的代码本身）实现了可扩展且高效的运行时分析。
• 使用GDB和PIN工具生成监控脚本而无需修改构建流程，受到开发人员广泛欢迎，实现了无缝集成。
• 将诊断输出组织为分层的因果视图显著提升了开发人员的理解能力，并减少了处理误报的时间。
• 通过Jenkins插件集成，使该技术能够在持续集成环境中以极低的配置开销部署，显著提升了采用潜力。