[論文レビュー] Model Checking Contest @ Petri Nets, Report on the 2013 edition

Fabrice Kordon, Alban Linard+15 more|arXiv (Cornell University)|Sep 10, 2013

Petri Nets in System Modeling参考文献 38被引用数 9

ひとこと要約

本論文は、2013年ペトリネットにおけるモデルチェックイングコンテストについて報告しており、16種類の多様なペトリネットモデルを対象に、状態空間生成と到達可能性解析の両面でツールの性能を評価している。コンテストでは、標準的でない「サプライズ」モデルを含む、両方のタイプのモデルを扱う能力が評価された。Necoが最も優れた成績を収め、状態空間生成および到達可能性解析の両面で、特にRessAllocation や Railroad のような複雑なモデルにおいて優れた結果を上げ、全試験で110点を獲得した。

ABSTRACT

This document presents the results of the Model Checking Contest held at Petri Nets 2013 in Milano. This contest aimed at a fair and experimental evaluation of the performances of model checking techniques applied to Petri nets. This is the third edition after two successful editions in 2011 and 2012. The participating tools were compared on several examinations (state space generation and evaluation of several types of formulæ -- reachability, LTL, CTL for various classes of atomic propositions) run on a set of common models (Place/Transition and Symmetric Petri nets). After a short overview of the contest, this paper provides the raw results from the contest, model per model and examination per examination. An HTML version of this report is also provided (http://mcc.lip6.fr).

研究の動機と目的

• 標準的および挑戦的な「サプライズ」モデルを含む多様なペトリネットモデルに対するモデルチェックイングツールの性能と頑健性を評価すること。
• さまざまなモデルタイプにおける状態空間生成、到達可能性の個数、デッドロック検出、発火可能性解析の能力を評価すること。
• P/Tネットおよびカラーペトリネットを含む、さまざまなペトリネットの変種を扱う際の、既存ツールの強みと限界を特定すること。
• ペトリネットを用いた形式的検証におけるツール評価のための標準化されたベンチマークを提供すること。
• 競争的で再現可能な評価フレームワークを通じて、ツール開発と比較を促進すること。

提案手法

• コンテストは、16のモデル（前回のエディションから10つと、6つの新しい「サプライズ」モデル）を用いた標準化された評価フレームワークに基づいて実施され、ツールの頑健性をテストすることを目的としていた。
• 主な試験は3つであった：状態空間生成、到達可能性の個数比較、および到達可能性解析（デッドロックおよび発火可能性）。
• 各ツールは、時間制限およびメモリ制限が明確に定義された専用実行インfraストラクチャを用いて、同一の条件下で全モデルに対して実行された。
• スコアは正しさ、完全性、パフォーマンスに基づき算出され、初回のインスタンス、インスタンス数、最大到達状態数、最良の結果に対してポイントが与えられた。
• P/Tネットおよびカラーペトリネットの両方を対象とし、構造的・行動的に複雑または予期しない挙動を示すモデルに特に注意を払った。
• 結果はグローバルスコアに集約され、特に「サプライズ」モデルは2倍の重みが与えられ、頑健性の向上を促すように設計された。

実験結果

リサーチクエスチョン

• RQ1 既存のモデルチェックイングツールは、既知のモデルと予期しない（サプライズ）モデルを含む、標準化されたペトリネットモデルセットに対して、どのように性能を発揮するか？
• RQ2 P/Tネットやカラーペトリネットを含む多様なペトリネットタイプにおいて、状態空間生成および到達可能性解析の両面で、どのツールが最も高い正確性と効率性を示すか？
• RQ3 複雑または非自明なペトリネットモデルを扱う際、現在のツールがスケーラビリティおよび正しさの観点で示す主な限界は何か？
• RQ4 ツールは、カラーペトリネットや構造的変更を伴うモデルを、どの程度正しく処理できるか？
• RQ5 「サプライズ」モデルの導入は、ツールの性能にどのような影響を与え、実装上の隠れた弱みをどのように明らかにするか？

主な発見

• Necoは、全試験で一貫した正確な結果を示し、110点の最高総合得点を記録し、全カテゴリで優勝（グローバルトロフィー）を獲得した。
• LoLAおよびその変種（LoLa opt, LoLa inc, LoLa pess）は状態空間生成において優れたパフォーマンスを示したが、複数の到達可能性解析を完了できなかった。
• 「サプライズ」モデルのカテゴリは、ツールの限界を顕在化させ、全試験を完了したツールがなく、予期しないモデル挙動の処理における課題を浮き彫りにした。
• RessAllocation（P/T）および Railroad（P/T）は、特に挑戦的なモデルとされ、Necoは状態空間試験でそれぞれ20点および6点の最高得点を記録した。
• Cunf、GreatSPN、ITS-Tools、Marcie、PNXDD、Sara などの複数のツールは、複数の試験で0点を記録しており、ベンチマークセットにおける機能性または正しさに著しい制限があることが示された。
• コンテストは、高度なツールですら、構造的・行動的複雑性が標準パターンを超えると、複雑または動的なモデルに対して苦戦することを示した。