[논문 리뷰] The Reactive Synthesis Competition (SYNTCOMP): 2018-2021

Swen Jacobs, Guillermo A. Pérez외 23명|arXiv (Cornell University)|2022. 06. 01.

Machine Learning in Materials Science인용 수 18

한 줄 요약

이 논문은 2018년부터 2021년까지의 반응 합성 경쟁(SYNTCOMP)에 대한 종합적 분석을 제시하며, LTL, 안전성, 페어리티 게임 사양에서 합성 도구의 성능과 발전을 평가한다. 새로운 벤치마크 가족을 도입하고, 솔루션 품질과 확장성에 따라 도구 순위를 보고하며, 특히 Strix와 ltlsynt의 솔버 성능 향상이 측정 가능하게 기록한다. 또한 경쟁의 관련성을 높이기 위해 향후 규칙 변경 사항을 제안한다.

ABSTRACT

We report on the last four editions of the reactive synthesis competition (SYNTCOMP 2018-2021). We briefly describe the evaluation scheme and the experimental setup of SYNTCOMP. Then, we introduce new benchmark classes that have been added to the SYNTCOMP library and give an overview of the participants of SYNTCOMP. Finally, we present and analyze the results of our experimental evaluations, including a ranking of tools with respect to quantity and quality - that is, the total size in terms of logic and memory elements - of solutions.

연구 동기 및 목표

• 표준화되고 독립적인 경쟁 프레임워크를 통해 반응 합성 도구의 최신 기술 수준을 평가하기 위해.
• LTL, 안전성, 페어리티 게임 등 다양한 사양 형식에서 도구의 확장성, 솔루션 품질, 내구성 향상을 평가하기 위해.
• 실제 합성 과제를 반영하는 증가하는 공개 벤치마크 라이브러리를 확장하고 정제하기 위해.
• 경쟁 결과의 실증적 분석을 통해 도구 성능의 추세를 파악하고 향후 개발을 이끌기 위해.
• 장기적인 커뮤니티 참여와 산업적 관련성을 유지하기 위해 경쟁 규칙과 인프라를 업데이트하기 위해.

제안 방법

• 경쟁은 표준화된 벤치마크 형식과 공개 저장소(GitHub)를 사용하며, CC-BY 라이센스 하에 제공된다.
• 실현 가능하고 비실현 가능한 벤치마크를 사용하여 도구를 평가하며, 벽시계 시간과 사용자-CPU 시간을 기준으로 평가하고, 솔루션 품질은 AND 게이트 수로 측정한다.
• 성능을 다양한 수의 해결된 벤치마크에 따라 시각화하기 위해 카쿠스 플롯을 사용하며, 시간과 출력 크기에 대해 로그 스케일을 적용한다.
• 구조적이고 복잡한 사양에서의 확장성 평가를 위해 매개변수화된 벤치마크 가족(예: mux, shift, arbiter)을 포함한다.
• 각 트랙(LTL, 안전성, 페어리티) 별로 결과를 집계하고 순위 일관성, 이질적 성능, 도구별 특수성 등을 분석한다.
• 향후 규칙 변경 사항으로는 순차적 및 병렬 트랙 통합, 벽시계 시간을 10,000초로, 사용자-CPU 시간을 40,000초로 상향 조정하며, 실행에 대해 StarExec의 계속 사용을 포함한다.

실험 결과

연구 질문

• RQ1 2018년에서 2021년 사이에 반응 합성 도구의 성능과 솔루션 품질은 어떻게 변화했는가?
• RQ2 현재 합성 도구에게 가장 큰 도전 과제를 안기는 벤치마크 가족은 무엇이며, 도구 순위는 그들 사이에서 어떻게 달라지는가?
• RQ3 페어리티 게임과 같은 새로운 사양 형식이 도구 개발과 경쟁의 다양성에 얼마나 기여하는가?
• RQ4 mux, shift, arbiter 사양과 같은 매개변수화된 가족에서 도구의 확장성은 어떻게 변화하는가?
• RQ5 시간 제한 및 트랙 통합과 같은 규칙 변경 사항이 도구 성능과 경쟁의 공정성에 어떤 영향을 미치는가?

주요 결과

• Strix와 ltlsynt는 LTL 합성 트랙에서 일관되게 상위 성능을 보였으며, Strix는 다양한 벤치마크 가족에서 뛰어난 성능을 보였다.
• mux와 shift 벤치마크 가정에서 비-Strix 도구들이 Strix보다 해결 시간에서 뛰어난 성능을 보였으며, 이는 조합 논리 합성에서 도구별 특수성의 존재를 시사한다.
• collector_v2와 detector 가정에서는 최고 성능 도구가 Strix보다 해결 시간에서 10배 이상 향상되었으며, 특정 문제 유형에서의 성능 격차를 드러낸다.
• round_robin_arbiter와 full_arbiter와 같은 아르비터 가정에서 Strix는 전반적으로 상위 순위를 유지했지만, 일관된 우위를 보이지 않아 유사 사양 간 성능 변동성이 있음을 시사한다.
• 2021년에 페어리티 게임 트랙이 도입되면서 도구 개발자들이 적극적으로 참여했으며, 여러 팀이 LTL 트랙에도 도구를 확장하여 참가했다.
• 경쟁의 벤치마크 라이브러리가 크게 성장했으며, 2021년 기준 26개의 매개변수화된 LTL 가정이 사용되어 세밀한 확장성 및 성능 분석을 가능하게 했다.