[논문 리뷰] Z3str3: A String Solver with Theory-aware Branching

Murphy Berzish, Yunhui Zheng외 1명|arXiv (Cornell University)|2017. 04. 26.

Web Application Security Vulnerabilities참고 문헌 12인용 수 11

한 줄 요약

Z3str3는 고성능 문자열 SMT 솔버로, Z3의 DPLL(T) SAT 솔버를 수정하여 간단한 이론 리터럴을 우선순위로 삼는 '이론 인지 브랜치' 기법을 도입한다. 이론 인지 활동을 브랜치 히وري스틱에 통합함으로써 Z3str3는 산업 벤치마크인 Kaluza, PISA, IBM AppScan에서 Z3str2, CVC4, Norn, S3, S3P를 능가하여 더 빠른 해결 시간과 더 낮은 오류 수를 기록하며 뛰어난 강건성을 확보한다.

ABSTRACT

We present a new string SMT solver, Z3str3, that is faster than its competitors Z3str2, Norn, CVC4, S3, and S3P over a majority of three industrial-strength benchmarks, namely Kaluza, PISA, and IBM AppScan. Z3str3 supports string equations, linear arithmetic over length function, and regular language membership predicate. The key algorithmic innovation behind the efficiency of Z3str3 is a technique we call theory-aware branching, wherein we modify Z3's branching heuristic to take into account the structure of theory literals to compute branching activities. In the traditional DPLL(T) architecture, the structure of theory literals is hidden from the DPLL(T) SAT solver because of the Boolean abstraction constructed over the input theory formula. By contrast, the theory-aware technique presented in this paper exposes the structure of theory literals to the DPLL(T) SAT solver's branching heuristic, thus enabling it to make much smarter decisions during its search than otherwise. As a consequence, Z3str3 has better performance than its competitors.

연구 동기 및 목표

• 복잡한 문자열 제약 조건을 포함한 산업 워크로드에서 문자열 SMT 해결의 성능 격차를 해소하기 위해.
• 이론 리터럴의 구조적 복잡도에 민감한 DPLL(T) 브랜치 히وري스틱을 통해 문자열 솔버의 탐색 효율성을 향상시키기 위해.
• 이전 도구들인 Norn과 S3에서 관찰된 충돌과 잘못된 응답을 줄임으로써 강건성과 정확성을 향상시키기 위해.
• 실제 보안 분석에서 흔한 길이 제약 조건과 정규 표현식을 포함한 문자열 제약 조건을 더 빠르게 해결할 수 있도록 하기 위해.
• Z3 SMT 프레임워크에 자연스럽게 통합된 확장 가능하고 효율적이며 타당한 문자열 솔버를 제공하기 위해.

제안 방법

• 이론 인지 브랜치는 Z3의 핵심 SAT 솔버를 보완하여 리터럴 활동에 이론 인지 성분($A_t$)을 추가함으로써 간단한 이론 리터럴을 더 높은 우선순위로 지정한다.
• 이 기법은 새로운 변수를 도입하지 않는 배열에 대해 높은 $A_t$ 값(0.5)을 할당하고, 더 복잡한 분할에는 낮은 값(0.1)을 할당한다.
• 또한 변수를 상수 문자열과 동일시하는 리터럴에는 작은 양의 $A_t$ 값(0.2)을 할당하여 더 단순한 통합을 선호한다.
• 이 방법은 Z3의 DPLL(T) 아키텍처와 직접 통합되어 이론 리터럴의 구조를 SAT 솔버의 브랜치 결정 과정에 노출시킨다.
• 이론 인지 케이스 스플릿 최적화는 부울 추상화에서 상호 배타적인 부울 변수를 효율적으로 표현한다.
• 솔버는 문자열 방정식, 길이 제약 조건, 정규 언어 소속을 지원하며 CVC4 문자열 SMT 표준을 준수한다.

실험 결과

연구 질문

• RQ1 이론 인지 브랜치로 DPLL(T) 탐색을 이끌면 산업용 문자열 벤치마크에서 성능 향상이 이루어지는가?
• RQ2 직접 등호 관계와 같은 더 단순한 이론 리터럴 배열을 우선순위로 삼는 것이 수렴 속도 향상에 기여하는가?
• RQ3 실제 세계의 문자열 제약 문제에서 Z3str3는 Z3str2, CVC4, Norn, S3, S3P와 비교해 성능와 정확성 면에서 어떻게 다른가?
• RQ4 이론 인지 브랜치는 탐색 공간 탐색을 얼마나 줄이고 해결 시간을 개선하는가?
• RQ5 이론 인지 브랜치는 충돌과 잘못된 응답을 줄여 솔버의 강건성을 향상시키는가?

주요 결과

• Z3str3는 Kaluza 벤치마크에서 34,885개의 SAT 및 11,786개의 UNSAT 케이스를 해결했으며, 총 해결 시간에서 Z3str2, CVC4, Norn, S3, S3P를 모두 앞섰다.
• PISA 벤치마크에서는 모든 케이스를 정확히 해결했고, S3는 세 케이스에서 잘못된 UNSAT 응답을 내보내고 한 케이스는 타임아웃했다.
• AppScan 벤치마크에서는 오류 없이 모든 케이스를 해결했고, S3는 두 케이스에서 UNKNOWN을 반환했으며 네 케이스에서는 잘못된 모델을 생성했다.
• Z3str3는 타임아웃이 총 84건(20초 제한)이었고, CVC4는 193건의 오류, Norn은 276건의 타임아웃을 기록하여 훨씬 뛰어난 강건성을 보였다.
• Z3str3는 Kaluza에서 총 해결 시간 5,275.11초를 기록했으며, Norn(109,280.76초)과 S3(10,544.06초)보다 훨씬 빠르게 작동했다.
• Z3str3는 세 벤치마크 전부에서 가장 빠른 도구였고, Z3str2와 CVC4는 경쟁력은 있었지만 전체적으로 느렸으며, Norn과 S3는 심각한 정확성 및 성능 문제를 보였다.