[논문 리뷰] On Benchmarking the Capability of Symbolic Execution Tools with Logic Bombs

Hui Xu, Zirui Neil Zhao외 2명|arXiv (Cornell University)|2017. 12. 05.

Software Testing and Debugging Techniques참고 문헌 37인용 수 3

한 줄 요약

이 논문은 논리 폭탄(특정 과제가 정확히 처리될 때만 작동하는 소형, 표적 프로그램)을 사용하여 기호적 실행 도구를 위한 세밀하고 효율적인 벤치마킹 프레임워크를 제안한다. 이 방법은 KLEE, Angr, Triton을 12개의 과제에서 평가하여 Angr가 다른 도구들보다 뛰어난 성능을 보이며 27개의 테스트 케이스 중 21개를 해결한 것으로 드러났고, Triton은 부동소수점 연산과 복잡한 외부 호출에서 어려움을 겪었다.

ABSTRACT

Symbolic execution now becomes an indispensable technique for software testing and program analysis. There are several symbolic execution tools available off-the-shelf, and we need a practical benchmark approach to learn their capabilities. Therefore, this paper introduces a novel approach to benchmark symbolic execution tools in a fine-grained and efficient manner. In particular, our approach evaluates the performance of such tools against the known challenges faced by general symbolic execution techniques, such as floating-point numbers and symbolic memories. To this end, we first survey related papers and systematize the challenges of symbolic execution. We extract 12 distinct challenges from the literature and categorize them into two categories: symbolic-reasoning challenges and path-explosion challenges. Then, we develop a dataset of logic bombs and a framework to benchmark symbolic execution tools automatically. For each challenge, our dataset contains several logic bombs, each of which is guarded by a specific challenging problem. If a symbolic execution tool can find test cases to trigger logic bombs, it indicates that the tool can handle the corresponding problems. We have conducted real-world experiments with three popular symbolic execution tools: KLEE, Angr, and Triton. Experimental results show that our approach can reveal their capabilities and limitations in handling particular issues accurately and efficiently. The benchmark process generally takes only dozens of minutes to evaluate a tool. We release our dataset on GitHub as open source, with an aim to better facilitate the community to conduct future work on benchmarking symbolic execution tools.

연구 동기 및 목표

• 실제 프로그램의 다양성에 의존하지 않는 세밀하고 편향되지 않은 기호적 실행 도구 평가 방법의 부족을 해결하기 위해.
• 기호적 실행을 방해하는 핵심 과제를 식별하고 체계화하여 기호적 추론과 경로 폭발 과제로 분류하기 위해.
• 특정 기능을 격리하고 테스트할 수 있도록 논리 폭탄을 사용하여 확장 가능하고 자동화된 벤치마킹 프레임워크를 설계하기 위해.
• 표준화된 논리 폭탄 데이터셋을 사용해 주요 기호적 실행 도구(KLEE, Angr, Triton)를 경험적으로 평가하여 그들의 강점과 한계를 드러내기 위해.
• 벤치마킹 데이터셋과 프레임워크를 오픈소스로 공개하여 커뮤니티의 향후 도구 평가 및 개발을 지원하기 위해.

제안 방법

• 문헌에서 파악한 기호적 실행의 12가지 별개의 과제를 체계적으로 조사하며, 기호적 추론(예: 부동소수점, 기호적 메모리)과 경로 폭발(예: 루프, 외부 호출) 과제로 분류하기 위해.
• 특정 과제에 의해 보호되는 최소 크기의 자가 포함 논리 폭탄 데이터셋을 설계하여, 성공적인 실행이 논리 폭탄을 유발함으로써 도구의 능력을 나타내도록 하기 위해.
• 논리 폭탄을 바이너리로 컴파일하고, 일괄 모드에서 기호적 실행 도구를 실행하며, 테스트 케이스의 정확성을 검증하는 자동화된 벤치마킹 프레임워크를 구축하기 위해.
• 측면 효과를 최소화하고 기호적 실행 시간을 줄여 효율성과 정확성을 확보하기 위해, 작은 집중형 프로그램을 사용하기 위해.
• Angr와 Triton 같은 도구는 바이너리 수준 분석을, KLEE는 소스 수준 분석을 사용하여 도구 철학의 차이를 고려한 공정한 비교를 위해.
• 생성된 테스트 케이스가 논리 폭탄을 유발하는지 확인하여, 해당 과제가 정확히 해결되었음을 검증함으로써 결과를 검증하기 위해.

실험 결과

연구 질문

• RQ1 실제 프로그램 특성에 의존하지 않는 세밀하고 재현 가능하며 편향되지 않은 방식으로 기호적 실행 도구를 평가할 수 있는 방법은 무엇인가?
• RQ2 부동소수점 산술, 기호적 메모리 등 특정 과제 중에서 기호적 실행 도구의 효과성을 가장 치명적으로 제한하는 것은 무엇인가?
• RQ3 주요 기호적 실행 도구인 KLEE, Angr, Triton이 복잡한 기호적 추론과 경로 폭발 과제를 어느 정도 처리할 수 있는가?
• RQ4 논리 폭탄 기반의 벤치마킹 접근법은 다양한 기호적 실행 과제에서 도구별로 특화된 강점과 약점을 정확하고 효율적으로 드러낼 수 있는가?
• RQ5 중첩 배열, 함수 포인터, 외부 함수 호출과 같은 실제 워크로드의 극단적인 케이스를 처리할 때 현재 기호적 실행 도구의 실질적 한계는 무엇인가?

주요 결과

• Angr는 27개의 논리 폭탄 케이스 중 21개를 해결하여 KLEE와 Triton에 비해 기호적 추론과 경로 폭발 과제 처리 능력이 뛰어남을 보였다.
• KLEE는 9개의 케이스를 해결했으며, STP 기반 솔버를 사용할 경우 배열과 기호적 점프 처리에서 뛰어난 성능을 보였지만, C++ 전용 기능인 벡터와 리스트 처리에 실패했다.
• Triton은 단지 3개의 케이스를 해결했으며, 주로 부동소수점 연산과 복잡한 외부 함수 호출(예: `atof`)에 대한 지원 부족 때문이었다.
• Angr는 다섯 개의 부동소수점 케이스 중 두 개를 성공적으로 처리했지만, `atof`를 통한 십진수 입력 변환을 요구하는 모든 케이스에서 실패하여 외부 함수 모델링에 한계가 있음을 보여주었다.
• KLEE는 이중 레벨 배열 과제에서 배열 추론 능력 부족으로 실패했고, Angr는 성공했으며, 이는 솔버 수준의 배열 지원의 중요성을 강조한다.
• 바이너리 수준 기반 기호적 실행 도구(Angr, Triton)는 소스 수준 도구(KLEE)에 비해 `jmp` 명령어나 스택 레이아웃 문제와 같은 저수준 과제에 더 강건함을 보였다.