[논문 리뷰] Model Checking Contest @ Petri Nets, Report on the 2013 edition

Fabrice Kordon, Alban Linard외 15명|arXiv (Cornell University)|2013. 09. 10.

Petri Nets in System Modeling참고 문헌 38인용 수 9

한 줄 요약

이 논문은 2013년 페트리 넷에서 열린 모델 체킹 경연 대회를 보고하며, 16개의 다양한 페트리 넷 모델을 대상으로 상태 공간 생성과 도달 가능성 분석을 평가한다. 이 대회는 표준 모델과 도전적인 '놀라움' 모델을 모두 포함하여 도구들의 성능을 평가하였으며, Neco가 상태 공간 생성과 도달 가능성 분석에서 뛰어난 성능을 보여, RessAllocation 및 Railroad와 같은 복잡한 모델에서도 뛰어난 성과를 거두며 총 110점으로 최고의 성과를 올렸다.

ABSTRACT

This document presents the results of the Model Checking Contest held at Petri Nets 2013 in Milano. This contest aimed at a fair and experimental evaluation of the performances of model checking techniques applied to Petri nets. This is the third edition after two successful editions in 2011 and 2012. The participating tools were compared on several examinations (state space generation and evaluation of several types of formulæ -- reachability, LTL, CTL for various classes of atomic propositions) run on a set of common models (Place/Transition and Symmetric Petri nets). After a short overview of the contest, this paper provides the raw results from the contest, model per model and examination per examination. An HTML version of this report is also provided (http://mcc.lip6.fr).

연구 동기 및 목표

• 표준 모델과 도전적인 '놀라움' 모델을 포함한 다양한 페트리 넷 모델에 대해 모델 체킹 도구의 성능과 강건성을 평가하기 위해.
• 다양한 모델 유형에서 상태 공간 생성, 도달 가능성 기수, 死록 탐지, 화재 가능성 분석 능력을 평가하기 위해.
• 기존 도구들이 P/T 넷과 색상 페트리 넷을 포함한 다양한 페트리 넷 유형을 다룰 때의 강점과 한계를 규명하기 위해.
• 페트리 넷을 이용한 형식적 검증에서 도구 평가를 위한 표준화된 벤치마크를 제공하기 위해.
• 경쟁적이고 재현 가능한 평가 프레임워크를 통해 도구 개발과 비교를 촉진하기 위해.

제안 방법

• 대회는 16개의 모델(이전 대회에서 10개, 신규 '놀라움' 모델 6개 포함)을 사용한 표준화된 평가 프레임워크를 사용하여 도구의 강건성을 시험하기 위해 구성되었다.
• 세 가지 주요 평가가 실시되었으며, 각각 상태 공간 생성, 도달 가능성 기수 비교, 도달 가능성 분석(사전 정지 및 화재 가능성)이다.
• 모든 도구는 동일한 조건에서 시간 및 메모리 제한이 설정된 전용 실행 인프라를 통해 모든 모델에 대해 실행되었다.
• 정확도, 완전성, 성능을 기반으로 평가되었으며, 첫 번째 인스턴스, 인스턴스 수, 최대 도달 가능한 상태 수, 최고 결과에 따라 점수가 부여되었다.
• P/T 넷과 색상 페트리 넷 모두에서 도구가 평가되었으며, 복잡하거나 예측 불가능한 행동을 보이는 모델에 특별한 주의를 기울였다.
• 결과는 전반적인 점수로 집계되었으며, '놀라움' 모델은 강건성을 유도하기 위해 이중 가중치가 적용되었다.

실험 결과

연구 질문

• RQ1 기존의 모델 체킹 도구들은 표준화된 페트리 넷 모델 세트(알려진 모델과 예측 불가능한 '놀라움' 모델 포함)에서 어떻게 성능을 보이는가?
• RQ2 다양한 페트리 넷 유형에서 상태 공간 생성과 도달 가능성 분석에서 가장 높은 정확도와 효율성을 보이는 도구는 무엇인가?
• RQ3 현재 도구들이 복잡하거나 비표준적인 페트리 넷 모델을 다룰 때 스케일러빌리티와 정확성 측면에서 겪는 주요 한계는 무엇인가?
• RQ4 도구들이 색상 페트리 넷과 동적 구조 변화를 가진 모델을 얼마나 정확하게 처리하는가?
• RQ5 '놀라움' 모델의 포함 여부가 도구 성능에 미치는 영향은 무엇이며, 도구의 구현에 숨겨진 약점을 드러내는가?

주요 결과

• Neco는 모든 평가에서 일관되고 정확한 결과를 보여 총 110점으로 최고 점수를 기록하며, 모든 부문에서 우승했으며, 글로벌 트로피도 획득했다.
• LoLA 및 그 변종들(Lola opt, LoLa inc, LoLa pess)은 상태 공간 생성에서 뛰어난 성능을 보였지만, 몇몇 도달 가능성 분석을 완료하지 못했다.
• '놀라움' 모델 부문은 도구의 한계를 드러내었으며, 어떤 도구도 모든 평가를 완료하지 못해 예측 불가능한 모델 행동을 다루는 데서의 과제를 보여주었다.
• RessAllocation(P/T)와 Railroad(P/T)는 가장 도전적인 모델로 평가되었으며, Neco는 상태 공간 평가에서 각각 최고 점수인 20점과 6점을 기록했다.
• Cunf, GreatSPN, ITS-Tools, Marcie, PNXDD, Sara 등의 도구들은 여러 평가에서 0점이었으며, 벤치마크 세트에서의 功能 제한 또는 정확성 부족을 시사했다.
• 이 대회는 심지어 고급 도구들도 복잡하거나 동적 모델을 다룰 때 어려움을 겪는다는 것을 입증하였으며, 특히 표준 패턴을 초월하는 구조적 또는 행동적 복잡성이 증가할 경우 더욱 심각한 문제를 겪는다는 점을 보여주었다.