[논문 리뷰] Mutation Analysis: Answering the Fuzzing Challenge

Rahul Gopinath, Philipp Görz외 1명|arXiv (Cornell University)|2022. 01. 27.

Software Testing and Debugging Techniques인용 수 4

한 줄 요약

이 논문은 기존의 코드 커버리지 및 시드된 버그 벤치마크와 같은 전통적인 패러다임 평가 지표에 대한 강건하고 편향 없는 대안으로 변이 분석을 제안한다. 코드 커버리지와 시드된 버그 벤치마크에 비해 변이 분석을 패러다임 평가에 적용하는 데 있어 고비용, 비결정성, 통합된 도구 부족 등의 과제를 해결하기 위해 하이브리드 평가 곡선, 정적 테스트 세트를 통한 부재성 감소, 등가 변이체 추정 기법을 도입함으로써, 변이 분석이 패러다임 연구의 포괄적이고 신뢰할 수 있는 오라클 품질 지표로 자리매김할 수 있도록 한다.

ABSTRACT

Fuzzing is one of the fastest growing fields in software testing. The idea behind fuzzing is to check the behavior of software against a large number of randomly generated inputs, trying to cover all interesting parts of the input space, while observing the tested software for anomalous behaviour. One of the biggest challenges facing fuzzer users is how to validate software behavior, and how to improve the quality of oracles used. While mutation analysis is the premier technique for evaluating the quality of software test oracles, mutation score is rarely used as a metric for evaluating fuzzer quality. Unless mutation analysis researchers can solve multiple problems that make applying mutation analysis to fuzzing challenging, mutation analysis may be permanently sidelined in one of the most important areas of testing and security research. This paper attempts to understand the main challenges in applying mutation analysis for evaluating fuzzers, so that researchers can focus on solving these challenges.

연구 동기 및 목표

• 패러다임에서 오라클 품질의 핵심 과제를 해결함으로써 효과적인 취약점 탐지의 주요 장애물이 되고 있는 문제를 해결한다.
• 변이 분석이 패러다임 평가에 도입되지 못하게 하는 주요 기술적 및 실무적 장벽을 특정하고 분석한다.
• 패러다임 효과성을 평가하는 데 신뢰할 수 있고 확장 가능하며 편향이 없는 지표로 변이 분석을 활용할 수 있는 프레임워크를 제안한다.
• 하이브리드 평가 및 정적 테스트 세트 재사용을 통해 패러다임 환경에서 변이 분석의 계산 오버헤드를 줄인다.
• 기존 평가 관행의 한계를 극복할 잠재력을 입증함으로써 패러다임 연구에 변이 분석의 인식 제고와 통합을 촉진한다.

제안 방법

• 각 변이체를 살해하는 데 걸리는 시간을 성능 지표로 사용하여, 코드 커버리지와 변이 살해 타임라인을 조합한 하이브리드 평가 곡선을 제안한다.
• 최종 변이체를 살해하는 입력 집합을 추출하여 정적 테스트 세트로 활용하고, 이를 통해 최소한의 변이체 계산을 위한 부재성 감소 기법을 도입한다.
• Böhme 등(2023)이 제안한 종 다양성 추정 기법을 적용하여 최종 정적 테스트 세트를 활용해 등가 변이체의 범위를 추정한다.
• 남은 변이체에 대한 표본 추출을 통해 살해 가능성 평가를 수행하며, 등가 변이체 탐지에 표준 변이 분석 기법을 활용한다.
• 실행 비용을 줄이기 위해 체크된 커버리지와 같은 프oxy 지표를 사용하는 것을 권장하며, 이는 변이 분석의 핵심 결함 탐지 능력을 유지한다.
• 패러다임과 변이 분석을 모두 네이티브로 지원하는 통합 프레임워크 개발을 촉구하여 도구 및 워크플로우 장벽을 줄인다.

실험 결과

연구 질문

• RQ1 변이 분석은 코드 커버리지 및 시드된 버그 벤치마크에 비해 더 신뢰할 수 있고 편향이 적은 패러다임 품질 평가 대안이 될 수 있는가?
• RQ2 패러다임 캠페인에 변이 분석을 적용할 때 발생하는 주요 계산적 및 방법론적 과제는 무엇인가?
• RQ3 동적이고 비결정적인 패러다임 환경에서 변이 분석의 높은 비용은 어떻게 완화할 수 있는가?
• RQ4 패러다임 입력에서 유도된 정적 테스트 세트를 사용해 변이체의 부재성을 줄이고 효율성을 향상시키는 데 어느 정도 활용할 수 있는가?
• RQ5 패러다임 환경에서 등가 변이체는 어떻게 추정할 수 있으며, 이러한 목적에 적합한 통계적 방법은 무엇인가?

주요 결과

• 변이 분석은 코드 커버리지보다 본질적으로 더 강건하며 포화 현상에 덜 취약하여, 패러다임에서 결함 탐지 능력의 더 강력한 대체 지표가 된다.
• 제안된 하이브리드 평가 곡선은 시간에 따라 변이체 살해를 추적할 수 있게 하여 패러다임 성능에 대한 동적이고 시간 인식 기반의 지표를 제공한다.
• 패러다임에서 유도된 최종 입력 집합을 정적 테스트 세트로 활용하면 부재성 감소 및 최소한의 변이체 계산이 효과적으로 가능하다.
• 종 다양성 추정은 패러다임 환경에서 등가 변이체 수를 추정하는 데 실용적인 방법이지만, 아직 검증되지 않은 상태이다.
• 변이 분석의 계산 비용은 여전히 주요 장벽이며, 비결정성과 통계적 신뢰도가 필요한 장시간 지속되는 패러다임 캠페인으로 인해 더욱 심화된다.
• 통합된 도구 부족과 변이 분석에 대한 인식 부족은 패러다임 연구 공동체 내에서의 도입 장벽으로 작용한다.