[논문 리뷰] An Empirical Study of Path Feasibility Queries

Asankhaya Sharma|arXiv (Cornell University)|2013. 02. 20.

Software Testing and Debugging Techniques참고 문헌 12인용 수 3

한 줄 요약

이 논문은 기호 실행 동안 경로 가능성 쿼리에 대해 SMT 솔버의 성능을 평가하며, 특히 양자문이 없는 비트 벡터 및 배열 공식(QF_ABV)에 초점을 맞춘다. STP는 Z3보다 성능이 약 10배 뛰어나며, 이를 바탕으로 새로운 LLVM 기반 분석인 Change Value Analysis를 설계하여 SIR 벤치마크에서 쿼리 해결 시간을 48% 감소시켰다.

ABSTRACT

In this paper we present a comparative study of path feasibility queries generated during path exploration based software engineering methods. Symbolic execution based methods are gaining importance in different aspects of software engineering e.g. proving properties about programs, test case generation, comparing different executions of programs. These methods use SMT solvers to check the satisfiability of path feasibility queries written as a formula in the supported theories. We study the performance of solving such path feasibility queries using SMT solvers for real world programs. Our path condition formulas are generated in a theory of quantifier free bit vectors with arrays (QF_ABV). We show that among the different SMT solvers, STP is better than Z3 by an order of magnitude for such kind of queries. As an application we design a new program analysis (Change Value Analysis) based on our study which exploits undefined behaviors in programs. We have implemented our analysis in LLVM and tested it with the benchmark of SIR programs. It reduces the time taken for solving path feasibility queries by 48%. The study can serve as guidance to practitioners using path feasibility queries to create scalable software engineering methods based on symbolic execution.

연구 동기 및 목표

• 기호 실행 과정에서 실제 프로그램으로부터 추출한 경로 가능성 쿼리에 대해 SMT 솔버의 성능을 평가하기 위해.
• 기본적으로 기호 실행에서 흔히 사용되는, 양자문이 없는 비트 벡터와 배열 이론(QF_ABV)에 대한 쿼리에 가장 효율적인 SMT 솔버를 특정하기 위해.
• 솔버 성능에 대한 통찰을 활용하여 기존 소프트웨어 공학 작업의 확장성 향상을 달성하는 새로운 프로그램 분석, Change Value Analysis를 개발하기 위해.
• 소프트웨어 공학 분야에서 확장 가능한 기반 기술을 구축하는 데 실증적 지침을 제공하기 위해.

제안 방법

• 기본적으로 기호 실행을 통해 실제 프로그램에서 유도한 경로 조건 공식을 QF_ABV 논리로 표현하기 위해.
• STP와 Z3와 같은 여러 SMT 솔버를 사용하여 이러한 공식에 대해 성능을 측정하여 경로 가능성 쿼리 해결 성능을 평가하기 위해.
• LLVM 컴파일러 인프라스트럭처 내에서 undefined behaviors를 탐지하기 위해 새로운 프로그램 분석인 Change Value Analysis를 설계 및 구현하기 위해.
• 실증적 솔버 성능 데이터를 기반으로 분석에서 SMT 해결에 소요되는 시간을 최소화하는 최적화 전략을 도출하기 위해.
• 종합적인 성능 향상을 측정하기 위해 SIR 벤치마크 세트에서 분석을 실행하기 위해.
• 기존 기반 접근법과 비교하여 경로 가능성 쿼리 해결에 소요된 시간의 감소를 측정하기 위해.

실험 결과

연구 질문

• RQ1 실제 프로그램에 대해 QF_ABV 논리로 표현된 경로 가능성 쿼리에 대해 가장 뛰어난 성능을 보이는 SMT 솔버는 무엇인가?
• RQ2 실제 소프트웨어에서 유도된 QF_ABV 경로 조건을 해결할 때 STP의 성능은 Z3와 비교해 어떻게 되는가?
• RQ3 SMT 솔버 벤치마크에서의 통찰을 기반으로 기호 실행을 위한 더 효율적인 프로그램 분석을 설계할 수 있는가?
• RQ4 솔버 특성에 기반해 분석 파이프라인을 최적화함으로써 경로 가능성 해결 성능을 얼마나 향상시킬 수 있는가?

주요 결과

• QF_ABV 논리로 표현된 경로 가능성 쿼리 해결에서 STP는 Z3보다 약 10배 뛰어난 성능을 보였다.
• LLVM에 구현된 제안된 Change Value Analysis는 SIR 벤치마크 세트에서 경로 가능성 쿼리 해결에 소요되는 시간을 48% 감소시켰다.
• STP와 Z3 사이의 실증적 성능 격차는 다양한 실제 프로그램에서 일관되고 뚜렷하게 유지되었다.
• 이 연구는 솔버 선택이 기호 실행 기반 분석의 확장성에 미치는 영향이 크다는 것을 입증했다.
• 결과는 솔버 선택이 효율적인 기호 실행 도구 설계에 있어 핵심 요소임을 강력한 실증적 증거로 제시한다.
• 신규 분석이 달 đạt한 성능 향상은 STP의 사용과 실증적 발견을 바탕으로 최적화된 쿼리 생성 전략에 기인한다.