[논문 리뷰] Evaluating Fuzz Testing

George Klees, Andrew Ruef외 3명|arXiv (Cornell University)|2018. 08. 29.

Software Testing and Debugging Techniques참고 문헌 40인용 수 3

한 줄 요약

이 논문은 퍼즈 테스팅 연구의 실험적 엄밀성을 평가하며, 최근 32篇의 논문에서 널리 퍼진 방법론적 결함을 드러낸다. 광범위한 실험을 통해 단일 실행, 짧은 타임아웃, 나쁜 시드 선택, 히우리스틱 크래시 중복 제거 방법의 부적절한 사용이 퍼저 성능에 대한 잘못된 결론을 이끌어낼 수 있음을 입증하며, 다양한 벤치마크와 실제 버그 수를 기반으로 표준화되고 통계적으로 타당한 평가를 위해 권고한다.

ABSTRACT

Fuzz testing has enjoyed great success at discovering security critical bugs in real software. Recently, researchers have devoted significant effort to devising new fuzzing techniques, strategies, and algorithms. Such new ideas are primarily evaluated experimentally so an important question is: What experimental setup is needed to produce trustworthy results? We surveyed the recent research literature and assessed the experimental evaluations carried out by 32 fuzzing papers. We found problems in every evaluation we considered. We then performed our own extensive experimental evaluation using an existing fuzzer. Our results showed that the general problems we found in existing experimental evaluations can indeed translate to actual wrong or misleading assessments. We conclude with some guidelines that we hope will help improve experimental evaluations of fuzz testing algorithms, making reported results more robust.

연구 동기 및 목표

• 최근 퍼즈 테스팅 연구에서의 실험 평가 품질과 신뢰성을 평가하기 위해.
• 신규 퍼징 알고리즘 평가 방식에서 흔히 나타나는 방법론적 결함, 예를 들어 단일 실행, 짧은 타임아웃, 히우리스틱 크래시 중복 제거 방법 등을 특정하기 위해.
• 실험적 결과를 통해 잘못된 평가 방법이 퍼저 성능에 대한 잘못된 또는 오해의 소지가 있는 결론을 이끌어낼 수 있음을 입증하기 위해.
• 다중 시험, 통계적 테스트, 다양한 시드, 장시간 타임아웃, 실제 버그 수 측정을 포함한 퍼징 알고리즘 평가를 위한 최선의 실천 방안을 제안하기 위해.
• 알려진 버그가 있는 표준화된, 잘 설계된 벤치마크 세트를 만들 것을 주장하며, 이는 퍼징 도구 간 공정하고 재현 가능한 비교를 가능하게 한다.

제안 방법

• AFL과 AFLFast를 다섯 개의 실제 프로그램(nm, objdump, cxxfilt, gif2png, FFmpeg)에서 비교하기 위해 총 50,000+ CPU 시간의 실험을 수행하였다.
• 퍼징의 확률적 성격을 반영하기 위해 각 설정에 대해 최대 30회의 독립 실행을 수행하고 통계적 검증을 통해 유의미성을 평가하였다.
• 핵심 실험 매개변수를 다양화: 타임아웃(6~24시간), 시드 입력(빈 값 및 비빈 값), 결과 측정은 크래시 수와 커버리지 메트릭을 모두 사용하였다.
• 프로그램의 알려진 취약한 버전에서의 실제 버그 수를 주요 성능 지표로 사용하여, AFL의 커버리지나 스택 해시 히우리스틱에 의존하지 않았다.
• 크래시 중복 제거 히우리스틱의 영향을 분석하기 위해 실제 발견된 서로 다른 버그와의 결과를 비교하였다.
• 시간에 따른 성능 추세를 분석하여 짧은 타임아웃이 평가의 타당성에 미치는 영향을 평가하였다.

실험 결과

연구 질문

• RQ1 현재 퍼징 알고리즘 평가의 실험적 평가에서 어느 정도의 방법론적 결함이 존재하는가?
• RQ2 시드 선택, 타임아웃 지속 시간, 실행 간 무작위성의 변동이 퍼저 간 성능 비교의 신뢰성에 어떤 영향을 미치는가?
• RQ3 히우리스틱 크래시 중복 제거 방법(예: AFL의 커버리지 프로파일)은 진짜 버그 발견을 얼마나 정확하게 측정할 수 있으며, 성능 평가에 왜곡을 초래하는가?
• RQ4 동일한 퍼저(AFLFast)가 원래 평가에서는 우월하다고 주장되었지만, 다양한 시드와 더 긴 타임아웃을 적용한 더 철저한 실험에서는 그렇지 않게 나타나는가?
• RQ5 신뢰성 있고 재현 가능하며 통계적으로 타당한 퍼징 알고리즘 평가 프레임워크의 핵심 구성 요소는 무엇인가?

주요 결과

• 조사한 32편의 논문 중 약 3/5가 단일 실행에 의존했으며, 이는 퍼징 결과의 높은 변동성을 반영하지 못해 잘못된 결론을 이끌 수 있었다.
• 통계적 검증 결과, 원래 논문에서 유의미하다고 보고된 AFL과 AFLFast 간의 성능 차이가 항상 유의미하지 않은 것으로 드러났다.
• 시드 선택에 따라 성능이 크게 달라졌다: 한 개의 비빈 시드로 실험했을 때, AFLFast는 nm에서 24건의 크래시를 발견했고, 이는 AFL의 23건과 통계적으로 유사했다. 그러나 원래 평가에서는 AFLFast가 우월하다고 주장했다.
• 짧은 타임아웃(예: 6시간)은 장기적인 성능 추세를 포착하지 못하는 경우가 많았다. 예를 들어, nm에서 AFL은 6시간에는 AFLFast를 앞섰지만, 24시간 후에는 반대로 성능이 뒤집혔다.
• 히우리스틱 크래시 중복 제거 방법(예: AFL의 커버리지 프로파일)은 버그를 과도하게 수량화하거나 때로는 진짜로 다른 크래시를 억압하여, 이러한 메트릭에 기반한 성능 주장이 무효화되었다.
• 다중 실행, 장시간 타임아웃, 다양한 시드, 실제 버그 수 측정을 포함한 철저한 평가 기준을 적용했을 때, AFLFast의 AFL에 대한 우월성은 일부 벤치마크에서 크게 약화되거나 사라졌다. 이는 원래의 주장이 과장되었음을 시사한다.