[論文レビュー] Raw Report on the Model Checking Contest at Petri Nets 2012

Fabrice Kordon, Alban Linard+12 more|arXiv (Cornell University)|Sep 8, 2012

Formal Methods in Verification参考文献 40被引用数 9

ひとこと要約

この論文は、Petri Nets 2012 における第2回モデルチェックイングコンテストの未加工結果を提示しており、19個のペトリネットモデルに対して15のツールを用いて状態空間生成と式評価の両方を評価している。コンテストでは、スケーリングパラメータを備えた標準化されたPNMLモデルを用い、ツールの性能を評価した。その結果、特に到達可能性と構造的式評価において、スケーラビリティや式処理の面で顕著なばらつきが明らかになった。状態空間生成は式評価よりも信頼性が高く、統合および文法の課題が主な要因であった。

ABSTRACT

This article presents the results of the Model Checking Contest held at Petri Nets 2012 in Hambourg. This contest aimed at a fair and experimental evaluation of the performances of model checking techniques applied to Petri nets. This is the second edition after a successful one in 2011. The participating tools were compared on several examinations (state space generation and evaluation of several types of formulae - structural, reachability, LTL, CTL) run on a set of common models (Place/Transition and Symmetric Petri nets). After a short overview of the contest, this paper provides the raw results from the context, model per model and examination per examination.

研究の動機と目的

• ペトリネットのモデルチェック技術を、多様なツールとモデルを対象として、公平かつ実験的に評価すること。
• モデルのサイズや構造的複雑さに伴い、どの検証手法が効果的にスケーリングするかを特定すること。
• スケーリングパラメータを備えたPNML形式のモデルを用いた標準化されたベンチマークフレームワークを確立すること。
• ツールの性能を、構造的式、到達可能性式、LTL、CTL式の評価において評価すること。
• 共通の再現可能で再利用可能な評価プロセスを通じて、ツール間相互運用性とコミュニティ全体のベンチマーク評価を向上させること。

提案手法

• コンテストでは、12個の新しいモデルがコミュニティからのベンチマーク要請を通じて提出された、19個の標準化されたペトリネットモデル（PNML形式）を用いた。
• モデルにはスケーリングパラメータが含まれており、さまざまなサイズの状態空間を生成することで、異なるスケールにおける性能分析が可能になった。
• ツールは、クラスタ上で共通の実行環境を用いて、状態空間生成、構造的式評価、到達可能性式評価の3つのタスクについて評価された。
• プラットフォームに依存しない一貫したツール統合と実行を保証するため、仮想マシンイメージが提供された。
• 解釈を加えずに、ラジアルチャート、実行時間データ、式処理比率を含む未加工の結果が収集・報告された。
• 評価プロセスには、ツール開発者が統合をテストできるように事前にインストール済みのディスクイメージが用意され、式仕様のための文法も定義されたが、発表が遅れたため問題が生じた。

実験結果

リサーチクエスチョン

• RQ1 スケーリングが進むペトリネットモデルの範囲において、どのモデルチェックツールが状態空間生成において最も優れた性能を示すか？
• RQ2 対象となるモデルのサイズや構造に応じて、対称性削減、部分順序削減、意思決定図などの異なる検証手法はどのようにスケーリングするか？
• RQ3 標準化されたベンチマーク環境下で、複雑な構造的および到達可能性式をどれほど効果的に処理できるか？
• RQ4 ツール統合および式仕様の課題が、ツール間の一貫性のある評価を妨げる主な要因であるとすれば、その影響はどの程度か？
• RQ5 今後の開催に向けて、コミュニティ主導で再現可能であるペトリネットモデルチェックのベンチマークフレームワークをどのように改善できるか？

主な発見

• 状態空間生成の評価は、信頼性が高く解釈可能な結果を生み出し、LoLa や Helena といったツールが複数のモデルで優れたパフォーマンスを示した。
• 到達可能性式評価では、ツール間での顕著なばらつきが明らかになった。LoLa-binstore と LoLa-bloom が他よりも多くの式を処理できたが、すべての式セットを完了したツールは存在しなかった。
• AlPiNA と Helena は simple_lbs の式処理は可能だったが、より複雑なモデル（例：railroad）では失敗しており、スケーラビリティの限界が示された。
• LTL および CTL 式評価の試験には、いかなるツールも参加しなかった。これは、ツール統合および式文法の標準化に大きな課題があることを示している。
• コンテストでは、式文法の発表時期が遅れたことや、モデルとツールの統合の複雑さが主な問題として特定され、今後の開催に向けた改善提案がなされた。
• 事前にインストール済みのディスクイメージと標準化されたPNMLモデルの使用により、ツール統合が改善されたが、式処理における名前付けや設定の問題は依然として残存した。