[논문 리뷰] SAVIOR: Towards Bug-Driven Hybrid Testing

Yaohui Chen, Peng Li외 6명|arXiv (Cornell University)|2019. 06. 18.

Software Testing and Debugging Techniques참고 문헌 51인용 수 4

한 줄 요약

SAVIOR는 커버리지 기반에서 버그 기반 테스팅으로 전환하는 혁신적인 하이브리드 소프트웨어 테스팅 프레임워크입니다. 이 프레임워크는 취약성 잠재력이 높은 브랜치에 대해 공통 실행(concolic execution)을 우선순위화하고, SMT 제약 조건을 사용하여 실행 경로 상의 모든 후보 취약성 검증을 수행함으로써 버그 기반 테스팅을 구현합니다. SAVIOR는 Driller보다 평균 43.4% 빠르게 취약성을 탐지하고, QSYM보다 44.3% 더 빠르게 탐지하며, 24시간 이내에 벤치마크 프로그램에서 각각 88개와 76개의 추가적인 보안 위반을 발견합니다.

ABSTRACT

Hybrid testing combines fuzz testing and concolic execution. It leverages fuzz testing to test easy-to-reach code regions and uses concolic execution to explore code blocks guarded by complex branch conditions. However, its code coverage-centric design is inefficient in vulnerability detection. First, it blindly selects seeds for concolic execution and aims to explore new code continuously. However, as statistics show, a large portion of the explored code is often bug-free. Therefore, giving equal attention to every part of the code during hybrid testing is a non-optimal strategy. It slows down the detection of real vulnerabilities by over 43%. Second, classic hybrid testing quickly moves on after reaching a chunk of code, rather than examining the hidden defects inside. It may frequently miss subtle vulnerabilities despite that it has already explored the vulnerable code paths. We propose SAVIOR, a new hybrid testing framework pioneering a bug-driven principle. Unlike the existing hybrid testing tools, SAVIOR prioritizes the concolic execution of the seeds that are likely to uncover more vulnerabilities. Moreover, SAVIOR verifies all vulnerable program locations along the executing program path. By modeling faulty situations using SMT constraints, SAVIOR reasons the feasibility of vulnerabilities and generates concrete test cases as proofs. Our evaluation shows that the bug-driven approach outperforms mainstream automated testing techniques, including state-of-the-art hybrid testing systems driven by code coverage. On average, SAVIOR detects vulnerabilities 43.4% faster than DRILLER and 44.3% faster than QSYM, leading to the discovery of 88 and 76 more uniquebugs,respectively.Accordingtotheevaluationon11 well fuzzed benchmark programs, within the first 24 hours, SAVIOR triggers 481 UBSAN violations, among which 243 are real bugs.

연구 동기 및 목표

• 높은 코드 커버리지에도 불구하고 실제 취약성을 탐지하는 데에 비효율적인 커버리지 기반 하이브리드 테스팅의 문제를 해결하기 위해.
• 더 높은 이용 가능성 잠재력을 지닌 시드와 경로를 우선순위화하여 이용 가능한 취약성을 발견하는 데 걸리는 시간 지연을 줄이기 위해.
• 형식적 증명을 사용하여 실행 경로 상의 모든 취약성 후보를 검증함으로써 탐지 정확도를 향상시키기 위해.
• 속도와 취약성 탐지의 완전성 측면에서 기존 하이브리드 테스팅 도구들을 능가하기 위해.

제안 방법

• SAVIOR는 버그 기반 우선순위 전략을 적용하여, 버그 노출 잠재력이 높은 브랜치 조건을 기반으로 우선순위를 매기며, 이는 공통 실행을 고위험 경로로 유도합니다.
• 실행 중인 공통 실행 동안 실행 경로 상의 모든 잠재적 취약성을 모델링하고 검증하기 위해 SMT 제약 조건을 사용하며, 이는 취약성의 타당성 또는 존재하지 않음을 증명합니다.
• 코드 커버리지 외에도 취약성이 발생할 가능성이 높은 시드를 기반으로 퍼즈 테스팅을 위한 시드를 동적으로 선택합니다.
• 취약성 라벨링과 기호 실행을 통합하여 모든 후보 결함을 검사함으로써 실제 보안 위반을 정확하게 식별할 수 있도록 합니다.
• 검증된 취약성이 후속 탐색을 이끄는 피드백 기반 루프에서 퍼즈 테스팅과 공통 실행을 결합합니다.
• 실행 중 잠재적 결함의 미세한 추적을 가능하게 하기 위해 UBSan 방식의 체크와 취약성 라벨을 프로그램에 인스트럭션합니다.

실험 결과

연구 질문

• RQ1 버그 기반 접근 방식이 커버리지 기반 하이브리드 테스팅보다 취약성 탐지 효율성에서 뛰어나게 작용할 수 있는가?
• RQ2 Driller 및 QSYM과 같은 최신 기술 수준의 도구들과 비교했을 때 SAVIOR는 이용 가능한 취약성을 얼마나 효과적으로 식별하는가?
• RQ3 버그 유도 검증 기법은 거짓 긍정을 얼마나 줄이고 탐지 정확도를 얼마나 향상시키는가?
• RQ4 고위험 잠재력이 있는 브랜치를 우선순위로 삼는 것이 실제 보안 위반 탐지 시간에 어떤 영향을 미치는가?
• RQ5 SMT 제약 조건을 통한 형식적 검증은 하이브리드 테스팅에서 취약성 탐지의 신뢰성을 향상시킬 수 있는가?

주요 결과

• SAVIOR는 24시간 테스팅 윈도우 내에서 Driller보다 평균 43.4% 더 빠르게, QSYM보다 44.3% 더 빠르게 취약성을 탐지합니다.
• 11개의 잘 알려진 퍼즈 테스팅 벤치마크에서 24시간 이내에 Driller보다 88개 더 많은 보안 위반을 발견했고, QSYM보다 76개 더 많은 보안 위반을 발견했습니다.
• 첫 24시간 동안 SAVIOR는 481개의 고유한 보안 위반을 식별하여 뛰어난 커버리지와 탐지 속도를 입증했습니다.
• 실행 경로 상의 모든 후보 취약성을 검증함으로써 SAVIOR는 거짓 긍정을 줄이고 보고된 결과에 대한 신뢰도를 높였습니다.
• 버그 유도 검증 기법은 SMT 제약 조건을 사용하여 취약성의 타당성 또는 존재하지 않음을 성공적으로 증명하여 신뢰성을 향상시켰습니다.
• 평가 결과, 높은 잠재력이 있는 경로를 우선순위로 삼는 것이 커버리지 손실 없이도 탐지 시간을 크게 줄이는 데 기여하는 것으로 확인되었습니다.