[论文解读] Model Checking Contest @ Petri Nets, Report on the 2013 edition

Fabrice Kordon, Alban Linard+15 more|arXiv (Cornell University)|Sep 10, 2013

Petri Nets in System Modeling参考文献 38被引用 9

一句话总结

本文报告了2013年佩特里网模型检测竞赛，评估了16种不同佩特里网模型在状态空间生成与可达性分析方面的工具表现。竞赛评估了工具在处理标准模型及具有挑战性的‘意外’模型时的性能，Neco表现最佳，凭借在复杂模型（如RessAllocation和Railroad）上的出色状态空间生成与可达性分析能力，总得分为110分，位列第一。

ABSTRACT

This document presents the results of the Model Checking Contest held at Petri Nets 2013 in Milano. This contest aimed at a fair and experimental evaluation of the performances of model checking techniques applied to Petri nets. This is the third edition after two successful editions in 2011 and 2012. The participating tools were compared on several examinations (state space generation and evaluation of several types of formulæ -- reachability, LTL, CTL for various classes of atomic propositions) run on a set of common models (Place/Transition and Symmetric Petri nets). After a short overview of the contest, this paper provides the raw results from the contest, model per model and examination per examination. An HTML version of this report is also provided (http://mcc.lip6.fr).

研究动机与目标

• 评估模型检测工具在一组多样化佩特里网模型（包括标准模型与具有挑战性的‘意外’模型）上的性能与鲁棒性。
• 评估工具在多种模型类型中进行状态空间生成、可达性基数、死锁检测与可执行性分析方面的能力。
• 识别现有工具在处理不同佩特里网变体（包括P/T网与彩色网）时的优势与局限性。
• 为使用佩特里网进行形式化验证的工具评估提供标准化基准。
• 通过竞争性、可复现的评估框架，促进工具的开发与比较。

提出的方法

• 竞赛采用标准化评估框架，包含16个模型——10个来自以往版本，6个为新增的‘意外’模型，旨在测试工具的鲁棒性。
• 共进行三项主要测试：状态空间生成、可达性基数比较与可达性分析（包括死锁与可执行性分析）。
• 所有工具在相同条件下运行，使用专用执行基础设施，并设定明确的时间与内存限制。
• 评分基于正确性、完整性与性能，得分包括首次结果、实例数量、最大可达状态数及最优结果。
• 工具在P/T网与彩色佩特里网上的表现均被评估，特别关注具有复杂或非预期行为的模型。
• 结果汇总为总分，其中‘意外’模型的权重为双倍，以鼓励工具具备更强的鲁棒性。

实验结果

研究问题

• RQ1 现有模型检测工具在一组标准化佩特里网模型（包括已知与意外的‘意外’模型）上的表现如何？
• RQ2 哪些工具在多种佩特里网类型中展现出最高的状态空间生成与可达性分析准确性与效率？
• RQ3 当前工具在处理复杂或非平凡佩特里网模型时的关键局限性是什么，特别是在可扩展性与正确性方面？
• RQ4 工具在处理彩色佩特里网及具有动态结构变化的模型时，其正确性如何？
• RQ5 ‘意外’模型的引入在多大程度上影响了工具性能，并暴露出工具实现中的隐藏缺陷？

主要发现

• Neco以总分110分获得最高综合得分，赢得所有类别奖项，包括总冠军，因其在所有测试中均表现一致且正确。
• LoLA及其变体（LoLa opt、LoLa inc、LoLa pess）在状态空间生成方面表现强劲，但在多项可达性分析中未能完成。
• ‘意外’模型类别揭示了显著的工具局限性，无一工具完成所有测试，凸显了处理非预期模型行为的挑战。
• RessAllocation（P/T）与Railroad（P/T）是最具挑战性的模型之一，Neco在状态空间测试中分别获得最高分20分与6分。
• 包括Cunf、GreatSPN、ITS-Tools、Marcie、PNXDD与Sara在内的多个工具在多项测试中得分为零，表明其在该基准集上功能有限或存在正确性问题。
• 竞赛表明，即使先进工具在处理复杂或动态模型时仍面临困难，尤其当结构或行为复杂性超出标准模式时。