[논문 리뷰] Polsat: A Portfolio LTL Satisfiability Solver

Jianwen Li, Geguang Pu외 4명|arXiv (Cornell University)|2013. 11. 07.

Formal Methods in Verification참고 문헌 7인용 수 9

한 줄 요약

Polsat는 다중 코어 하드웨어에서 동시에 네 대의 외부 LTL 솔버(pltl, TRP++, NuSMV, Aalta)를 실행하는 포트폴리오 기반 LTL 만족 가능성 검사 솔버이다. 어느 하나의 솔버라도 결과를 반환하면 즉시 종료되며, 무작위 및 복잡한 공식에서 특히 뛰어난 전반적 성능을 달성한다. 또한 LTL 솔버의 평가 및 최적화를 위한 통합 테스트 플랫폼으로도 기능한다.

ABSTRACT

In this paper we present a portfolio LTL-satisfiability solver, called Polsat. To achieve fast satisfiability checking for LTL formulas, the tool integrates four representative LTL solvers: pltl, TRP++, NuSMV, and Aalta. The idea of Polsat is to run the component solvers in parallel to get best overall performance; once one of the solvers terminates, it stops all other solvers. Remarkably, the Polsat solver utilizes the power of modern multi-core compute clusters. The empirical experiments show that Polsat takes advantages of it. Further, Polsat is also a testing plat- form for all LTL solvers.

연구 동기 및 목표

• 다양한 벤치마크에서 우월한 성능을 내는 유일한 LTL 만족 가능성 솔버가 존재하지 않는 문제를 해결하기 위해, 다양한 유형의 솔버를 조합하여 전반적 성능을 향상시키는 것.
• 현대의 다중 코어 컴퓨팅 클러스터를 활용해 여러 LTL 솔버를 동시에 실행하여 만족 가능성 검사를 빠르게 수행하는 것.
• 공통 벤치마크 세트를 사용하여 LTL 솔버의 성능을 평가하고 비교할 수 있는 표준화된 테스트 플랫폼을 제공하는 것.
• 특정 공식 유형에서 각 솔버가 어떤 성능을 내는지 분석함으로써 실증적 분석을 통해 솔버 성능을 최적화하는 것.
• 기호적, 표본 기반, 해상법, 하이브리드 방법 등 다양한 알고리즘 접근 방식을 통합하여 LTL 만족 가능성 검사의 확장성과 강건성을 향상시키는 것.

제안 방법

• 표본 기반 솔버(pltl), 시간적 해상법(TRP++), 기호적 모델 체킹(BDD 및 SAT를 사용한 NuSMV), 하이브리드 표본 기반 솔버(Aalta)를 포함한 네 가지 대표적 LTL 솔버를 통합.
• 모든 솔버를 전용 스레드를 통해 동시에 실행하고, 첫 번째 솔버가 결과를 반환하면 중앙 집중식 조율 메커니즘을 통해 나머지 스레드를 종료.
• Polsat의 고유한 LTL 문법을 각 통합된 솔버가 요구하는 입력 형식으로 변환하기 위해 통합된 입력 파arser를 사용.
• 모든 솔버의 출력을 동일한 형식으로 표준화: 'sat' 또는 'unsat', 소스 솔버, 실행 시간.
• 외부 솔버가 동일한 입력/출력 인터페이스를 준수하는 한, 확장성을 위해 외부 솔버 통합을 허용.
• 다양한 벤치마크(확장된 무작위 및 합성 공식 포함)에서 솔버 성능을 비교하기 위해 카투스 플롯 기반 평가 프레임워크를 활용.

실험 결과

연구 질문

• RQ1 다양한 벤치마크에서 여러 LTL 솔버를 조합한 포트폴리오 접근 방식이 개별 솔버보다 우월한 성능을 낼 수 있는가?
• RQ2 다중 코어 시스템에서 병렬 실행이 LTL 만족 가능성 검사의 전반적 성능을 크게 향상시키는가?
• RQ3 Polsat는 새로운 LTL 솔버의 평가 및 최적화를 위한 효과적인 테스트 플랫폼이 될 수 있는가?
• RQ4 기호적, 표본 기반, 해상법, 하이브리드 유형의 솔버 중 어떤 것이 LTL 공식의 특정 유형에서 가장 우수한 성능을 내는가?
• RQ5 무작위 및 합성 기반 공식을 포함한 대규모 및 복잡한 벤치마크에서 Polsat는 어떻게 확장되는가?

주요 결과

• Schuppan가 수집한 벤치마크에서 Polsat는 단일 솔버보다 뛰어난 전반적 성능을 달성했으며, 14개 공식 유형 중 12개에서 가장 빠른 단일 솔버보다 더 빠른 결과를 보였다.
• 확장된 무작위 공식(100~200자)과 무작위 합성 공식(1~20개 구성 요소)에서 Polsat는 60초 타임아웃 내에 다른 솔버보다 더 많은 인스턴스를 해결했으며, 카투스 플롯을 통해 이를 입증했다.
• NuSMV-BMC의 통합이 /alaska/lift 공식 유형에 가장 효과적이었고, Aalta는 /schuppan/O1formula 및 /schuppan/O2formula 세트에서 다른 솔버들을 능가했다.
• 입력 형식 변환에 따른 오버헤드는 일부 벤치마크에서 Polsat의 성능을 약간 저하시켰지만, 솔버 다양성과 병렬 실행의 이점이 이를 상쇄했다.
• Polsat의 플랫폼을 통해 Aalta는 실증적 피드백을 바탕으로 최적화되었으며, 이는 개발 및 벤치마크 환경으로서의 유용성을 입증했다.
• 초기 종료 기반 포트폴리오 접근 방식으로 Polsat의 성능는 집합 내 가장 빠른 솔버에 의해 제한되므로, 효율적이면서도 확장 가능한 성능을 보장한다.