[논문 리뷰] Raw Report on the Model Checking Contest at Petri Nets 2012

Fabrice Kordon, Alban Linard외 12명|arXiv (Cornell University)|2012. 09. 08.

Formal Methods in Verification참고 문헌 40인용 수 9

한 줄 요약

이 논문은 2012년 Petri Nets에서 열린 제2회 모델 체킹 경연 대회에서의 원시 결과를 제시하며, 상태 공간 생성 및 공식 평가 작업을 수행하는 데 15개의 도구를 19개의 페트리 네트워크 모델에 대해 평가한다. 경연 대회에서는 표준화된 PNML 모델과 스케일링 파라미터를 사용하여 도구 성능을 평가하였으며, 특히 도달 가능성 및 구조적 공식 평가에서 확산성과 공식 처리 능력에 큰 변동성이 드러났다. 상태 공간 생성은 공식 평가보다 더 신뢰할 수 있었는데, 이는 통합 및 문법 문제 때문이었다.

ABSTRACT

This article presents the results of the Model Checking Contest held at Petri Nets 2012 in Hambourg. This contest aimed at a fair and experimental evaluation of the performances of model checking techniques applied to Petri nets. This is the second edition after a successful one in 2011. The participating tools were compared on several examinations (state space generation and evaluation of several types of formulae - structural, reachability, LTL, CTL) run on a set of common models (Place/Transition and Symmetric Petri nets). After a short overview of the contest, this paper provides the raw results from the context, model per model and examination per examination.

연구 동기 및 목표

• 다양한 도구와 모델을 대상으로 페트리 네트워크를 위한 모델 체킹 기법에 대한 공정하고 실험적인 평가를 제공하기 위해.
• 모델 크기와 구조적 복잡도 증가에 따라 효과적으로 확장되는 검증 기법을 특정하기 위해.
• 스케일링 파라미터를 가진 PNML 형식의 모델을 사용하여 표준화된 벤치마킹 프레임워크를 수립하기 위해.
• 구조적, 도달 가능성, LTL, CTL 공식 평가에서 도구 성능을 평가하기 위해.
• 공동체 차원의 표준화된 재현 가능한 평가 프로세스를 통해 도구 간 상호운용성과 벤치마킹을 향상시키기 위해.

제안 방법

• 경연 대회에서는 19개의 표준화된 페트리 네트워크 모델을 PNML 형식으로 사용하였으며, 이 중 12개는 공동체가 벤치마크를 제출하기 위한 콜을 통해 제출된 신규 모델이었다.
• 모델에는 다양한 크기의 상태 공간을 생성할 수 있도록 스케일링 파라미터가 포함되어 있었으며, 이는 다양한 척도에서의 성능 분석을 가능하게 하였다.
• 도구들은 클러스터에서 동일한 실행 환경을 사용하여 상태 공간 생성, 구조적 공식 평가, 도달 가능성 공식 평가 작업을 대상으로 평가되었다.
• 모든 플랫폼 간 일관된 도구 통합 및 실행을 보장하기 위해 가상 머신 이미지가 제공되었다.
• 결과는 해석 없이 원시 형태로 수집 및 보고되었으며, 레이더 차트, 실행 시간 데이터, 공식 처리 비율 등이 포함되었다.
• 평가 과정에는 도구 개발자가 통합을 테스트할 수 있도록 사전 설치된 디스크 이미지가 포함되었으며, 공식 사양을 위한 문법도 정의되었지만, 이는 늦게 발표되어 문제를 야기하였다.

실험 결과

연구 질문

• RQ1 증가하는 스케일을 가진 다양한 페트리 네트워크 모델에 대해 상태 공간 생성에서 가장 우수한 성능을 보이는 모델 체킹 도구는 무엇인가?
• RQ2 대부분의 도구들이 모델 크기와 구조에 따라 어떻게 확장되는가? (예: 대칭 감소, 부분 순서 감소, 결정도표 기법 등)
• RQ3 표준화된 벤치마킹 환경에서 복잡한 구조적 및 도달 가능성 공식을 처리할 수 있는 도구의 능력은 어느 정도인가?
• RQ4 도구 간 일관된 평가를 방해하는 도구 통합 및 공식 사양의 주요 과제는 무엇인가?
• RQ5 향후 대회를 위해 공동체 기반의 재현 가능한 페트리 네트워크 모델 체킹을 위한 벤치마킹 프레임워크는 어떻게 개선될 수 있는가?

주요 결과

• 상태 공간 생성 평가에서는 신뢰할 수 있고 해석 가능한 결과를 도출하였으며, LoLa 및 Helena와 같은 도구들이 여러 모델에서 뛰어난 성능을 보였다.
• 도달 가능성 공식 평가에서는 도구 간 큰 변동성이 드러났으며, LoLa-binstore와 LoLa-bloom이 다른 도구들보다 더 많은 공식을 처리했지만, 어느 도구도 모든 공식 세트를 완료하지 못했다.
• AlPiNA와 Helena는 simple_lbs에 대한 공식 처리는 가능했지만, 더 복잡한 모델인 railroad에서는 실패하여 확장성의 한계를 보였다.
• LTL 및 CTL 공식 평가에는 어느 도구도 참가하지 않아, 도구 통합 및 공식 문법 표준화 문제로 인한 주요 과제가 드러났다.
• 경연 대회에서는 공식 문법 발표 시점이 늦어진 문제와 모델-도구 통합의 복잡성이 드러나 향후 대회에 대한 권고 사항을 도출하였다.
• 사전 설치된 디스크 이미지와 표준화된 PNML 모델의 사용은 도구 통합을 향상시켰지만, 공식 처리에 있어서 이름 지정 및 설정 문제는 여전히 지속되었다.