[논문 리뷰] SyGuS-Comp 2016: Results and Analysis

Rajeev Alur, Dana Fisman외 2명|arXiv (Cornell University)|2016. 11. 23.

Software Testing and Debugging Techniques참고 문헌 9인용 수 7

한 줄 요약

이 논문은 문법 유도 합성(SyGuS) 솔버를 위한 제3회 연간 대회인 SyGuS-Comp 2016의 결과를 제시하고 분석한다. 새로운 프로그래밍 by 예제(PBE) 트랙을 도입하여 비트 벡터 및 문자열 이론을 포함하고, 10개의 트랙에서 13개의 솔버를 평가하며, Cvc4-1.5.1과 EUSolver가 최고의 성능을 보였음을 확인한다. Cvc4-1.5.1은 306개의 벤치마크 중 195개를 해결했고, EUSolver는 다른 고성능 솔버들보다 평균적으로 더 컴act한 표현식을 생성했다.

ABSTRACT

Syntax-Guided Synthesis (SyGuS) is the computational problem of finding an implementation f that meets both a semantic constraint given by a logical formula phi in a background theory T, and a syntactic constraint given by a grammar G, which specifies the allowed set of candidate implementations. Such a synthesis problem can be formally defined in SyGuS-IF, a language that is built on top of SMT-LIB. The Syntax-Guided Synthesis Competition (SyGuS-Comp) is an effort to facilitate, bring together and accelerate research and development of efficient solvers for SyGuS by providing a platform for evaluating different synthesis techniques on a comprehensive set of benchmarks. In this year's competition six new solvers competed on over 1500 benchmarks. This paper presents and analyses the results of SyGuS-Comp'17.

연구 동기 및 목표

• 306개의 벤치마크를 포함한 포괄적인 벤치마크 세트에서 13개의 다른 SyGuS 솔버의 성능을 평가하고 비교하기.
• 비트 벡터 및 문자열 이론을 포함한 새로운 프로그래밍 by 예제(PBE) 트랙을 도입하고 평가하기.
• 배열, 불변식, 정수 산술, 운동 계획 등 다양한 문제 유형에서 솔버 행동을 분석하기.
• 프로그램 합성 분야의 연구 및 개발을 가속화하기 위해 표준화되고 커뮤니티 기반의 벤치마크 형식을 제공하기.
• 다양한 문제 유형과 솔버 유형 간의 솔버 효과성, 효율성, 표현식 크기의 추세를 규명하기.

제안 방법

• 합성 문제를 논리적 제약 조건과 문법을 함께 명시하기 위해 SMT-LIB의 확장인 SyGuS-IF 언어를 사용한다.
• 각 벤치마크는 문법 G, 배경 이론 T 내의 논리 공식 φ, 그리고 입력/출력 행동에 대한 제약 조건을 정의한 함수를 합성한다.
• 모든 솔버를 제어된 조건 하에서 시간 및 메모리 제한을 두고 실행하기 위해 평가 플랫폼 StarExec를 사용한다.
• 해결된 벤치마크 수, 솔루션 도달 시간(가장 빠른 vs. 총 시간), 표현식 크기 등 여러 차원에서 결과를 분석한다.
• PBE 트랙은 E-매칭 및 문자열/정수 연산을 위한 확장된 SyGuS 형식을 사용했으며, 실제 사용 사례에서 유래한 벤치마크를 사용했다.
• 솔버 간의 비교를 위해 막대 그래프와 히트맵을 사용하여 성능 지표를 시각화했다.

실험 결과

연구 질문

• RQ1 SyGuS-Comp 2016 벤치마크 세트의 다양한 문제 유형에서 어떤 솔버가 가장 우수한 성능을 보였는가?
• RQ2 문자열 및 비트 벡터 이론을 포함한 새로운 PBE 트랙의 도입이 솔버 성능과 표현력에 어떤 영향을 미쳤는가?
• RQ3 다양한 솔버 유형 간에 솔루션 완전성(해결된 벤치마크 수)과 솔루션 컴팩트성(표현식 크기) 사이의 상충 관계는 어떠한가?
• RQ4 2014년 SyGuS-Comp에서 2016년으로의 변화를 통해 불변식 합성 및 정수 산술과 같은 복잡한 벤치마크를 다루는 데 있어 솔버 능력은 어떻게 발전했는가?
• RQ5 다양한 알고리즘적 접근 방식—순열적, 기호적, SMT 기반, 또는 확률적—중 어떤 것이 특정 문제 영역에서 뛰어난 성능을 보였는가?

주요 결과

• Cvc4-1.5.1은 일반 트랙에서 306개의 벤치마크 중 195개를 해결하여 모든 솔버 중에서 가장 높은 성능을 보였고, 그 중 157개는 가장 빠른 속도로 해결했다.
• EUSolver는 총 206개의 벤치마크를 해결하여 모든 트랙에서 가장 높은 수치를 기록했으며, 평균적으로 Cvc4-1.5.1보다 훨씬 더 컴팩트한 표현식을 생성했고, 평균 표현식 크기는 30,595.7로 Cvc4-1.5.1의 31,580.5보다 작았다.
• 순열적 솔버는 139개의 벤치마크를 해결했으며, 주로 불변식 생성 및 컴파일러 최적화 작업에서 뛰어났지만, 완전성과 속도 면에서 모두 뒤처졌다.
• 문자열 및 비트 벡터 이론을 포함한 새로운 PBE 트랙은 SyGuS의 범위를 성공적으로 확장했으며, EUSolver와 Cvc4-1.5.1이 이 신규 유형에서 뛰어난 성능을 보였다.
• Cvc4-1.5.1과 EUSolver의 평균 표현식 크기는 다른 솔버들(11.9–17.1)보다 훨씬 높았지만, 이는 그들의 더 높은 벤치마크 커버리지 때문일 가능성이 크다.
• 이전 대회에서 어려움을 겪었던 많은 벤치마크들이 2016년에 해결되었으며, 이는 솔버 기술과 알고리즘의 숙련도 향상이 뚜렷하게 이루어졌음을 시사한다.