[논문 리뷰] An Exploratory Survey of Hybrid Testing Techniques Involving Symbolic Execution and Fuzzing

Saahil Ognawala, Ana Petrovska외 1명|arXiv (Cornell University)|2017. 12. 19.

Software Testing and Debugging Techniques참고 문헌 41인용 수 4

한 줄 요약

이 논문은 기호 실행과 퍼징을 조합하는 하이브리드 테스팅 기법에 대한 체계적인 조사를 제시하며, 경로 폭발과 낮은 커버리지 문제를 완화할 수 있는 미사용된 기술적 접점들을 규명한다. 77篇의 논문을 분석하여 핵심 연구 격차를 드러내고, 소프트웨어 테스팅에서 테스트 케이스 생성 효율성과 경로 커버리지 향상을 위한 새로운 하이브리드 전략을 제안한다.

ABSTRACT

Recent efforts in practical symbolic execution have successfully mitigated the path-explosion problem to some extent with search-based heuristics and compositional approaches. Similarly, due to an increase in the performance of cheap multi-core commodity computers, fuzzing as a viable method of random mutation-based testing has also seen promise. However, the possibility of combining symbolic execution and fuzzing, thereby providing an opportunity to mitigate drawbacks in each other, has not been sufficiently explored. Fuzzing could, for example, expedite path-exploration in symbolic execution, and symbolic execution could make seed input generation in fuzzing more efficient. There have only been, in our view, very few hybrid solution proposals with symbolic execution and fuzzing at their centre. By analyzing 77 relevant and systematically selected papers, we (1) present an overview of hybrid solution proposals of symbolic execution and fuzzing, (2) perform a gap analysis in research of hybrid techniques to improve both, plain symbolic execution and fuzzing, (3) propose new ideas for hybrid test-case generation techniques.

연구 동기 및 목표

• 기호 실행과 퍼징을 조합하는 하이브리드 테스팅 기법의 현재 상태를 분석하며, 그 기술적 설계 및 구현에 초점을 맞춘다.
• 기호 실행과 퍼징 간에 미처 탐색되지 않은 기술적 접점을 규명하여 경로 커버리지 향상과 제약 해결 블로킹 문제 완화에 기여할 수 있도록 한다.
• 기호 실행(경로 폭발, 느린 제약 해결)과 퍼징(맹목적 변형으로 인한 낮은 경로 커버리지)의 한계를 통합된 솔루션으로 해결한다.
• 기호 실행의 시드 입력 생성 기능과 퍼징의 경로 탐색 기능 등 상호 보완적 강점을 활용한 새로운 하이브리드 테스트 생성 기법을 제안한다.
• 향후 하이브리드 도구 개발에서 일반화 가능성과 재현 가능성을 확보하기 위해 표준화된 평가 관행과 상호 검증을 권장한다.

제안 방법

• 기호 실행과 퍼징 기반 하이브리드 기법에 관한 77편의 관련 peer-reviewed 논문을 대상으로 체계적인 문헌 리뷰를 수행하였다.
• 경로 탐색 전략, 입력 변형 메커니즘, 제약 해결, 정적 분석 또는 코드 인스트루멘테이션의 사용 등 기술적 요소를 기반으로 하이브리드 솔루션을 분류하였다.
• 각 기술적 구성 요소가 설문된 논문들에서 얼마나 자주, 얼마나 깊이 활용되었는지를 맵핑하고 분석하여 미사용 또는 낮은 활용도를 보이는 접점을 규명하였다.
• 미사용되거나 낮은 활용도를 보이는 구성 요소를 조합하여 새로운 하이브리드 전략을 제안하였다. 예를 들어, 기호 실행을 통해 퍼징의 입력 변형을 이끌거나, 기호 실행 내 제약 해결 최적화에 활용하는 방식이다.
• 전문가 지침, SMT 쿼리의 임계값 설정, 구성적 분석을 통합하여 제약 해결기 의존도를 줄이고 확장성을 향상시키는 것을 제안하였다.
• 코드 인스트루멘테이션과 타겟팅된 실행을 통해 기호 실행을 커버되지 않은 브랜치에 집중시키고, 퍼징의 시드 입력 생성을 이끌도록 유도하였다.

실험 결과

연구 질문

• RQ1 기호 실행과 퍼징의 하이브리드 기법 분야에서 시간 경과에 따른 출판 추세는 어떠한가?
• RQ2 기호 실행과 퍼징을 실제로 비트리비얼한 방식으로 통합한 새로운 하이브리드 솔루션은 무엇이 있는가?
• RQ3 이러한 하이브리드 제안에서 기호 실행과 퍼징의 특정 기술적 요소는 어떻게 활용되었으며, 핵심 연구 격차는 어디에 있는가?
• RQ4 기존 하이브리드 기법들은 기호 실행의 경로 폭발 문제와 퍼징의 낮은 경로 커버리지 문제를 어떻게 해결하는가?
• RQ5 기호 실행과 퍼징 간에 아직 탐색되지 않은 접점은 무엇이며, 이를 통해 더 효율적이고 확장 가능한 테스트 생성 프레임워크를 만들 수 있는가?

주요 결과

• 조사한 77편의 논문 중 진정으로 기호 실행과 퍼징을 의미 있게 통합한 하이브리드 솔루션을 제안한 논문은 소수에 불과하다.
• 대부분의 하이브리드 접근 방식은 입력 변형, 경로 탐색, 제약 해결 전략 등의 기술적 구성 요소의 유연성을 충분히 활용하지 못하고 있다.
• 기호 실행에서 제약 해결은 여전히 주요 블로킹 요소이며, SMT 쿼리 임계값 설정이나 전문가 지침 같은 최적화 기법을 통해 이를 해결한 하이브리드 솔루션은 소수에 불과하다.
• 퍼징 도구들은 기호 실행과의 통합이 부족하여 다양하고 영향력 있는 시드 입력을 생성하지 못해 경로 커버리지와 효율성이 제한된다.
• 다양한 연구 간 표준화된 평가 기준과 상호 검증이 뚜렷하게 부족하며, 대부분의 논문이 유일하고 겹치지 않는 벤치마크와 데이터셋을 사용하고 있다.
• 구성적 기호 실행과 타겟팅된 퍼징의 접점은 대규모 소프트웨어 시스템에서 확장 가능한 취약점 탐지에 강력한 잠재력을 지니고 있으나, 현재 문헌에서는 여전히 미비하게 다뤄지고 있다.