[논문 리뷰] The 5th Reactive Synthesis Competition (SYNTCOMP 2018): Benchmarks, Participants & Results.

Swen Jacobs, Roderick Bloem외 12명|arXiv (Cornell University)|2019. 04. 15.

Machine Learning in Materials Science참고 문헌 28인용 수 20

한 줄 요약

이 논문은 2018년 제5회 반응형 합성 경쟁(SYNTCOMP 2018)의 결과를 제시하며, 시간적 스트림 논리(TSL), 하드웨어 구성 요소, 틱택토, 추상화 기반 제어라는 네 가지 새로운 벤치마크 클래스를 도입하고, LTL 합성 및 실현 가능성 추적에서 14개 도구에 대한 종합적인 평가를 수행한다. STRIX는 모든 공식 부문에서 우수한 성과를 거두었으며, 포트폴리오 구성이 병렬 모드에서 272개의 인스턴스 중 256개를 해결하고 높은 품질의 컴act한 전략을 생성하였다. 반면, BoWSer (opt,par)는 모든 도구 중 평균 솔루션 품질이 가장 높았다.

ABSTRACT

We report on the fifth reactive synthesis competition (SYNTCOMP 2018). We introduce four new benchmark classes that have been added to the SYNTCOMP library, and briefly describe the evaluation scheme and the experimental setup of SYNTCOMP 2018. We give an overview of the participants of SYNTCOMP 2018 and highlight changes compared to previous years. Finally, we present and analyze the results of our experimental evaluation, including a ranking of tools with respect to quantity and quality of solutions.

연구 동기 및 목표

• 표준화되고 진화하는 벤치마크 세트를 기반으로 반응형 합성 도구의 성능과 품질을 평가하고 비교하기 위해.
• LTL 및 안전성 성질을 위한 확장 가능하고 사용자 친화적인 합성 기법의 진전을 평가하기 위해.
• 솔루션 품질, 확장성, 정확성 측면에서 선도적인 도구와 구성 요소를 식별하기 위해.
• FRP, 하드웨어, 게임, 제어 시스템 분야의 실제 합성 과제를 반영하는 새로운 벤치마크 클래스를 도입하기 위해.
• 반응형 합성 연구를 위한 공개적이고 일관되며 재현 가능한 평가 플랫폼 유지하기 위해.

제안 방법

• 경쟁은 TLSF 형식의 표준화된 벤치마크 라이브러리를 사용하였으며, 네 가지 새로운 벤치마크 클래스에 걸쳐 총 272개의 LTL 합성 인스턴스를 포함하였다.
• 도구들은 실현 가능성 검사 및 합성 두 가지 트랙에서 평가되었으며, 3600초 타임아웃 하에 순차적 및 병렬 실행 모드에서 평가되었다.
• 솔루션의 정확성을 보장하기 위해 모델 체킹을 통해 검증되었으며, 솔루션 품질은 기준 솔루션 대비 AIGER 회로 크기로 측정되었다.
• 이중 순위 체계가 적용되었으며, 하나는 해결된 인스턴스 수에 기반하고, 다른 하나는 솔루션 크기(품질 순위)에 기반하였다.
• 자동화된 실행 환경을 통해 공유 클러스터에서 실험을 수행하였으며, 다양한 구성에서 정확성과 성능을 테스트하였다.
• 벤치마크 세트에는 FRP, 하드웨어 회로, 게임, 제어 시스템 분야의 매개변수화 및 비매개변수화 예제가 포함되었다.

실험 결과

연구 질문

• RQ1 현재의 반응형 합성 도구들은 다양하고 확장되는 LTL 합성 벤치마크 세트에서 어떻게 성능을 발휘하는가?
• RQ2 어떤 도구 구성이 회로 크기 측면에서 가장 높은 솔루션 품질을 달성하는가? 이에 영향을 미치는 요소는 무엇인가?
• RQ3 병렬 실행 모드가 순차적 실행 대비 확장성과 솔루션 커버리지에 얼마나 기여하는가?
• RQ4 TSL 및 추상화 기반 제어와 같은 새로운 벤치마크 클래스의 도입이 기존 합성 도구에 어떤 도전을 가하는가?
• RQ5 경계 합성, 포트폴리오, 최소화 vs. 레이블링 등의 다양한 합성 전략이 솔루션 품질과 성능에 미치는 영향은 무엇인가?

주요 결과

• STRIX는 LTL 합성 트랙에서 모든 공식 부문에서 우승하였으며, 병렬 모드에서 272개의 인스턴스 중 256개를 해결하고, 모든 구성 중 가장 높은 품질 점수를 기록하였다.
• STRIX (포트폴리오) 구성은 최고의 순차적 구성보다 하나의 인스턴스를 적게 해결했지만, 솔루션 품질 측면에서 크게 향상되어 다른 도구들보다 품질 순위에서 뛰어났다.
• BoWSer (opt,par)는 모든 해결된 인스턴스에서 평균 솔루션 품질이 가장 높았으며, 이전 기준 솔루션보다 54개의 솔루션이 더 우수하였다.
• ltlsynt는 BoSy 및 BoWSer보다 항상 더 큰 솔루션을 생성하였으며, 대부분의 경우 BoSy의 솔루션 크기의 약 10배에 달했다.
• 모든 도구에서 잘못된 솔루션은 발생하지 않았으며, 모델 체킹 타임아웃은 각 도구에 따라 6~23개의 인스턴스에서 관찰되어 확장성의 과제를 시사하였다.
• 추상화 기반 제어 예제를 포함한 새로운 벤치마크 세트는 번역 시간이 너무 길어 경쟁에서 제외되었지만, 향후 연구를 위한 챌린지 벤치마크로 공개되었다.