[논문 리뷰] Survey of Automated Vulnerability Detection and Exploit Generation Techniques in Cyber Reasoning Systems

Teresa Nicole Brooks|arXiv (Cornell University)|2017. 02. 20.

Advanced Malware Detection Techniques참고 문헌 13인용 수 12

한 줄 요약

이 논문은 사이버 추론 시스템에서의 자동화된 취약점 탐지 및 악용 생성 기법을 조사하며, 2016년 사이버 그랜드 챌린지(Cyber Grand Challenge)에서 수상한 Mayhem과 Mechanical Phish에 초점을 맞춘다. 향후 연구 방향으로는 이진 파일 사전 처리를 통한 탐색 공간 축소, 지식 기반 시스템을 활용한 CVE 기반 악용 생성, 이진 코드 내 취약점 탐지에 대한 딥 강화 학습 적용을 제안한다.

ABSTRACT

Software is everywhere, from mission critical systems such as industrial power stations, pacemakers and even household appliances. This growing dependence on technology and the increasing complexity software has serious security implications as it means we are potentially surrounded by software that contain exploitable vulnerabilities. These challenges have made binary analysis an important area of research in computer science and has emphasized the need for building automated analysis systems that can operate at scale, speed and efficacy; all while performing with the skill of a human expert. Though great progress has been made in this area of research, there remains limitations and open challenges to be addressed. Recognizing this need, DARPA sponsored the Cyber Grand Challenge (CGC), a competition to showcase the current state of the art in systems that perform; automated vulnerability detection, exploit generation and software patching. This paper is a survey of the vulnerability detection and exploit generation techniques, underlying technologies and related works of two of the winning systems Mayhem and Mechanical Phish.

연구 동기 및 목표

• 다르파 사이버 그랜드 챌린지에서 뛰어난 성능을 보인 사이버 추론 시스템의 공격 능력과 핵심 기술을 분석하고 요약하기.
• 현재 자동화된 이진 파일 분석 시스템의 한계, 특히 대규모 응용 프로그램에서의 확장성과 탐색 공간 복잡도를 규명하기.
• 인간의 간섭 없이도 자동화된 취약점 탐지 및 악용 생성을 향상시키기 위한 새로운 연구 방향 제안하기.
• 이진 파일 분석 분야의 표준화된 벤치마크 부족 문제를 해결하기 위해 CGC의 공통 플랫폼과 데이터셋(DECREE OS, 챌린지 이진 파일)을 활용하기.
• CVE 보고서에서 유래한 지식 기반 접근법과 강화 학습 기반 기법을 활용해 악용을 생성하고 최첨단 분석 도구로부터 학습하는 방법 탐색하기.

제안 방법

• 동적 심볼릭 실행, 패치 테스트, 제약 조건 해결 기법을 활용한 취약점 탐지에 초점을 맞춘 CGC 수상 시스템인 Mayhem과 Mechanical Phish를 분석한다.
• 취약점 발생 가능성이 높은 영역('핫스팟')을 식별하기 위한 이진 파일 사전 처리 기법을 제안하여 분석의 탐색 공간을 줄인다.
• CVE 보고서에서 악용 패턴을 학습하는 지식 기반 시스템을 도입하여 소스 코드나 이진 파일 없이도 일반화된 테스트 케이스(악용)를 생성한다.
• 기존의 이진 파일 분석 기법과 딥 강화 학습을 통합하여, 이진 코드와의 상호작용을 통해 취약점을 자율적으로 탐지하는 AI 에이전트를 훈련시키는 방법을 탐색한다.
• 경로 제약 조건과 사전 제약 트레이싱을 활용해 심볼릭 실행을 관련 코드 경로로 이끌어내어 효율성과 커버리지를 향상시킨다.
• 새로운 분석 기법 평가를 위한 기준으로서 CGC의 표준화된 환경(DECREE OS, 챌린지 이진 파일, POV 테스트)을 활용한다.

실험 결과

연구 질문

• RQ1 자동화된 사이버 추론 시스템은 인간 간섭 없이 이진 소프트웨어의 취약점과 악용을 어떻게 효과적으로 탐지하고 실행할 수 있는가?
• RQ2 Mayhem 및 Mechanical Phish와 같은 고성능 취약점 탐지 및 악용 생성 시스템에서 핵심 기술 구성 요소와 아키텍처 패턴은 무엇인가?
• RQ3 이진 파일 사전 처리 기법은 대규모 복잡한 응용 프로그램에서 취약점 탐지의 탐색 공간을 어떻게 줄일 수 있는가?
• RQ4 소스 코드나 이진 파일에 접근하지 않고도 지식 기반 시스템이 효과적인 악용을 생성할 수 있는가?
• RQ5 딥 강화 학습을 얼마나 활용해 이진 코드 내에서 자율적으로 취약점을 탐지하는 AI 에이전트를 훈련시킬 수 있는가?

주요 결과

• CGC 대회는 사이버 추론 시스템의 공정하고 플랫폼 간 평가를 가능하게 하는 표준화된 벤치마크 플랫폼(DECREE OS 및 챌린지 이진 파일)을 확립하였다.
• Mayhem와 Mechanical Phish는 동적 심볼릭 실행과 고도화된 패치 테스트 기법을 활용해 자동화된 취약점 탐지 및 악용 생성에서 뛰어난 성능을 달성했다.
• 점수 체계는 단순한 취약점 수보다는 이진 파일 패치의 정확성과 기능 정합성을 우선시하여, 단순 탐지보다는 견고하고 안정적인 패치 생성을 유도한다.
• 현재 시스템은 거대하고 복잡한 실세계 이진 파일 분석에서 막대한 탐색 공간과 높은 계산 비용으로 인해 확장성에 한계를 겪고 있다.
• 이진 파일 내 '핫스팟'을 사전에 식별하는 프리프로세싱은 분석 도구가 고위험 영역으로 향하도록 이끌어내어 분석 범위를 줄이고 효율성을 향상시킬 수 있다.
• 향후 시스템은 CVE 보고서와 머신러닝을 활용해 일반화된 악용을 생성함으로써 역공학 및 소스 코드 의존도를 줄일 수 있다.