[논문 리뷰] Zest: Validity Fuzzing and Parametric Generators for Effective Random Testing

Rohan Padhye, Caroline Lemieux외 3명|arXiv (Cornell University)|2018. 11. 30.

Software Testing and Debugging Techniques인용 수 6

한 줄 요약

Zest는 구조적 입력을 가진 프로그램의 의미 분석 단계에서 커버리지와 버그 탐지를 향상시키기 위해 랜덤 입력 생성기를 결정론적 파라미터 기반 생성기로 변환하는 피드백 지향 기법이다. 비형식적 파라미터 공간의 변형을 입력 도메인의 구조적 변화로 매핑하고, 코드 커버리지 및 유효성 피드백을 사용함으로써 Zest는 브랜치 커버리지에서 1.03x–2.81x 향상시키며, Maven 및 Rhino와 같은 자바 도구에서 10개의 새로운 버그를 발견하였다. 이는 일반적으로 1개 버그당 약 10분 이내로 이루어졌다.

ABSTRACT

Programs expecting structured inputs often consist of both a syntactic analysis stage, which parses raw input, and a semantic analysis stage, which conducts checks on the parsed input and executes the core logic of the program. Generator-based testing tools in the lineage of QuickCheck are a promising way to generate random syntactically valid test inputs for these programs. We present Zest, a technique which automatically guides QuickCheck-like randominput generators to better explore the semantic analysis stage of test programs. Zest converts random-input generators into deterministic parametric generators. We present the key insight that mutations in the untyped parameter domain map to structural mutations in the input domain. Zest leverages program feedback in the form of code coverage and input validity to perform feedback-directed parameter search. We evaluate Zest against AFL and QuickCheck on five Java programs: Maven, Ant, BCEL, Closure, and Rhino. Zest covers 1.03x-2.81x as many branches within the benchmarks semantic analysis stages as baseline techniques. Further, we find 10 new bugs in the semantic analysis stages of these benchmarks. Zest is the most effective technique in finding these bugs reliably and quickly, requiring at most 10 minutes on average to find each bug.

연구 동기 및 목표

• 구조적 입력을 가진 프로그램의 의미 분석 단계를 탐색하는 데 있어 랜덤 입력 생성의 효과를 향상시키는 것.
• 기존의 생성기 기반 테스팅 도구가 문법적 유효성 외에 깊이 있는 의미적 검사를 타겟으로 하지 못하는 한계를 해결하는 것.
• 미리 테스트되지 않은 또는 취약한 의미적 논리 경로로 향하는 입력 생성을 자동으로 지도하는 기법을 개발하는 것.
• 실제 프로그램의 의미 분석 컴포넌트에서 미묘한 버그를 발견하는 데 소요되는 시간과 노력을 줄이는 것.

제안 방법

• Zest는 파라미터 기반 입력 모델을 도입하여 랜덤 입력 생성기를 결정론적 파라미터 기반 생성기로 변환한다.
• 비형식적 파라미터 공간의 변형을 입력 도메인의 구조적 변형으로 매핑함으로써 타겟된 탐색을 가능하게 한다.
• 코드 커버리지 및 입력 유효성 피드백을 사용하여 미테스트된 경로나 유효하지 않은 경로로 향하는 파라미터 탐색을 지도한다.
• 피드백 지향 탐색은 반복적으로 파라미터를 정밀 조정하여 의미 분석 논리의 커버리지를 최대화한다.
• Zest는 입력 문법의 구조와 의미 제약 조건을 활용하여 문법적으로 유효하면서도 의미적으로 다양한 입력을 생성한다.

실험 결과

연구 질문

• RQ1 피드백 지향 파라미터 탐색이 구조적 입력 프로그램의 의미 분석 논리 커버리지를 향상시킬 수 있는가?
• RQ2 유효성 및 커버리지 피드백으로 지도된 파라미터 기반 생성기가 기존의 랜덤 생성기보다 버그 탐지에서 뛰어나게 작용할 수 있는가?
• RQ3 이러한 기법이 실제 프로그램에서 이전에 알려지지 않은 버그를 얼마나 효과적으로 탐지할 수 있는가?
• RQ4 발견된 취약점에 대한 성능 오버헤드와 탐지 시간은 어떠한가?

주요 결과

• Zest는 기준 기법 대비 다섯 개의 자바 벤치마크에서 의미 분석 단계에서 1.03x에서 2.81x 높은 분기 커버리지를 달성하였다.
• Zest는 Maven, Ant, BCEL, Closure, Rhino의 의미 분석 컴포넌트에서 10개의 새로운 버그를 발견하였다.
• Zest는 각 버그를 평균 10분 이내로 특정하여 높은 효율성을 입증하였다.
• 평가된 접근 방식들 중에서 Zest는 의미 분석 버그를 신뢰성 있고 신속하게 식별하는 데 가장 효과적인 기법이었다.