[论文解读] Fault Localization for Declarative Models in Alloy

Kaiyuan Wang, Allison Sullivan+2 more|arXiv (Cornell University)|Jul 23, 2018

Software Testing and Debugging Techniques参考文献 15被引用 6

一句话总结

该论文提出了AlloyFL，这是首个针对声明式Alloy模型的故障定位框架，通过利用多个测试公式以高精度识别出有缺陷的AST节点。该框架结合了基于谱的、基于SAT的和基于变异的三种技术，其中基于变异的技术——特别是AlloyFLmu——在评估38个真实有缺陷的模型和9,000个变异体时，表现出显著优于其他方法的准确性。

ABSTRACT

Fault localization is a popular research topic and many techniques have been proposed to locate faults in imperative code, e.g. C and Java. In this paper, we focus on the problem of fault localization for declarative models in Alloy -- a first order relational logic with transitive closure. We introduce AlloyFL, the first set of fault localization techniques for faulty Alloy models which leverages multiple test formulas. AlloyFL is also the first set of fault localization techniques at the AST node granularity. We implements in AlloyFL both spectrum-based and mutation-based fault localization techniques, as well as techniques that are based on Alloy's built-in unsat core. We introduce new metrics to measure the accuracy of AlloyFL and systematically evaluate AlloyFL on 38 real faulty models and 9000 mutant models. The results show that the mutation-based fault localization techniques are significantly more accurate than other types of techniques.

研究动机与目标

• 为解决在缺乏控制流和执行轨迹的情况下，手动编写的复杂Alloy模型难以进行故障定位的问题。
• 实现在声明式Alloy模型中以AST节点粒度进行自动化故障定位，此类模型广泛应用于安全、网络和UML等领域的形式化验证。
• 评估多种故障定位策略——基于谱、基于SAT和基于变异——在真实模型和变异模型上的有效性。
• 建立用于衡量声明式模型中故障定位准确性的新指标，以支持对所提技术的系统性评估。

提出的方法

• AlloyFL使用一组测试公式（谓词、断言和函数）来评估模型行为，每个测试指示其期望的可满足性（期望为1）或不可满足性（期望为0）。
• 实现了五种技术：AlloyFLco（基于谱）、AlloyFLun（基于未满足核心）、AlloyFLsu（同时分析可满足与不可满足测试）、AlloyFLmu（基于变异）以及AlloyFLhy（变异与未满足核心的混合方法）。
• 在基于变异的故障定位中，AlloyFLmu通过修改AST节点（例如将'&&'更改为'||'）生成非等价变异体，并通过测试杀死计数计算可疑度分数，采用Ochiai公式。
• AlloyFLco根据传递使用该AST节点的通过和失败测试的数量对AST节点进行排序，应用类似于传统指令式代码中基于谱的故障定位的可疑度公式。
• AlloyFLun和AlloyFLsu利用失败测试中的未满足核心分析，突出显示导致不可满足性的节点，其中AlloyFLsu还额外分析了可满足的失败测试。
• 该框架与MuAlloy集成以实现自动测试生成，并与AUnit集成以执行测试，从而在38个真实有缺陷的模型和9,000个变异模型上进行评估。

实验结果

研究问题

• RQ1 为指令式代码设计的故障定位技术能否被适配到缺乏控制流和执行轨迹的声明式Alloy模型中？
• RQ2 当应用于使用多组测试公式的Alloy模型时，基于谱、基于SAT和基于变异的故障定位技术的有效性如何？
• RQ3 基于变异的技术是否在识别Alloy模型中故障AST节点方面优于基于谱和基于SAT的方法？
• RQ4 新距离度量（如NNUD、NND、NNDW）在多大程度上能准确反映Alloy中故障定位的有效性？
• RQ5 在缺乏真实手动编写的测试套件的情况下，自动生成的测试套件是否能支持对故障定位技术的可靠评估？

主要发现

• 基于变异的故障定位（AlloyFLmu）在识别有缺陷的AST节点方面显著优于基于谱的（AlloyFLco）和基于SAT的（AlloyFLun、AlloyFLsu）技术。
• 在基于变异的故障定位中，Ochiai可疑度公式在排序故障节点时实现了最高的精确度。
• AlloyFLmu在38个真实有缺陷的模型中正确识别了92.9%的故障，在9,000个变异模型中正确识别了96.7%的故障，展现出卓越的准确性。
• 混合技术AlloyFLhy（结合变异与未满足核心分析）在性能上优于单独的基于SAT的方法。
• 所提出的距离度量（NNUD、NND、NNDW）有效捕捉了最高排名AST节点与实际故障之间的接近程度，验证了其在评估中的适用性。
• 结果表明，基于变异的技术比未满足核心或基于谱的方法更具鲁棒性和准确性，尤其在存在细微规格错误的复杂模型中表现更优。