[논문 리뷰] MARFCAT: Transitioning to Binary and Larger Data Sets of SATE IV

Serguei A. Mokhov, Joey Paquet외 2명|arXiv (Cornell University)|2012. 07. 16.

Advanced Malware Detection Techniques참고 문헌 37인용 수 7

한 줄 요약

이 논문은 다양한 프로그래밍 언어에서 소스 코드 및 바이너리 코드의 취약점을 탐지하기 위해 신호 처리 및 NLP 기법을 활용하는 기계학습 기반 정적 코드 분석 도구인 MARFCAT을 제시한다. SATE IV 데이터셋의 대규모 합성 및 실세계 테스트 케이스에서 CWE- 및 CVE-기반 취약점을 높은 정확도와 빠른 속도로 식별함으로써 다양한 환경에서의 강건성과 확장성을 입증한다.

ABSTRACT

We present a second iteration of a machine learning approach to static code analysis and fingerprinting for weaknesses related to security, software engineering, and others using the open-source MARF framework and the MARFCAT application based on it for the NIST's SATE IV static analysis tool exposition workshop's data sets that include additional test cases, including new large synthetic cases. To aid detection of weak or vulnerable code, including source or binary on different platforms the machine learning approach proved to be fast and accurate to for such tasks where other tools are either much slower or have much smaller recall of known vulnerabilities. We use signal and NLP processing techniques in our approach to accomplish the identification and classification tasks. MARFCAT's design from the beginning in 2010 made is independent of the language being analyzed, source code, bytecode, or binary. In this follow up work with explore some preliminary results in this area. We evaluated also additional algorithms that were used to process the data.

연구 동기 및 목표

• 기계학습을 활용해 정적 코드 분석의 보안 취약점 탐지를 향상시키며, 소스 코드를 초월해 바이너리 및 바이트코드 분석까지 확장한다.
• 기존 도구와 비교해 탐지 정확도와 속도를 향상시키며, 특히 알려진 및 합성된 취약점을 식별하는 데에 초점을 맞춘다.
• 신호 처리(예: 웨이블릿, FFT) 및 NLP 기법(일반화된 n-gram, 스무딩)이 코드 취약점 분류에 얼마나 기여하는지 평가한다.
• MARFCAT 프레임워크가 다양한 프로그래밍 언어와 코드 표현 방식(소스, 바이너리) 간에 확장성과 이식 가능성을 어떻게 확보하는지 보여준다.
• 임무 핵심 소프트웨어 시스템에서 취약점 탐지를 위한 실용적이고 분산형이며 자동화된 솔루션을 제공한다.

제안 방법

• MARF 프레임워크를 활용해 저역통과 FFT 및 이산 웨이블릿 변환(DWT)과 같은 신호 처리 기법을 사용해 코드에서 특징을 추출한다.
• 코드 구조를 모델링하고 이상을 탐지하기 위해 n-gram 및 다양한 스무딩 알고리즘을 포함한 NLP 방법을 적용한다.
• GIPSY를 사용해 수요 기반 분산 평가 아키텍처를 구현해 대규모 코드베이스에서 분석을 확장한다.
• CVE 및 CWE 레이블이 부여된 데이터로 훈련된 기계학습 모델을 사용해 취약점을 분류한다. 합성 케이스 포함.
• 소스 코드와 컴파일된 바이너리를 모두 신호 유사 데이터 스트림으로 간주해 언어에 종속되지 않는 분석을 가능하게 한다.
• 추적성과 도구 통합을 위해 정밀한 보고서 형식으로 결과를 내보내며, 각 취약점에 대해 심각도 및 순위 점수를 제공한다.

실험 결과

연구 질문

• RQ1 기계학습과 함께 신호 처리 및 NLP 처리를 조합해 다양한 언어에서 소스 및 바이너리 코드의 취약점을 효과적으로 탐지할 수 있는가?
• RQ2 MARFCAT의 성능은 대규모 및 합성 코드베이스에서 기존 정적 분석 도구와 비교해 속도, 정밀도, 재현율 측면에서 어떻게 다른가?
• RQ3 웨이블릿 및 FFT 사전 처리 기법이 버퍼 오버플로우나 입력 검증 결함과 같은 특정 취약점 유형 탐지에 얼마나 기여하는가?
• RQ4 SATE IV 데이터셋의 CVE 기반 외 합성 취약점에 대해 시스템의 일반화 능력은 어느 정도인가?
• RQ5 대규모 분산 코드 분석 작업에 적용했을 때 MARFCAT 프레임워크의 확장성과 강건성은 어떠한가?

주요 결과

• MARFCAT는 높은 정밀도와 재현율로 취약점을 탐지했으며, 특정 테스트 케이스에서 CWE-119(버퍼 오류) 및 CWE-189(숫자 오류)에 대해 100% 탐지 정확도를 기록했다.
• 합성 대규모 케이스에서 뛰어난 성능을 보여, 복잡한 코드베이스를 처리하는 데서의 확장성과 강건성을 확인했다.
• 웨이블릿 기반 사전 처리(SDWT)는 CVE-2009-2562 탐지에 기여했으며, 스펙트로그램 분석을 통해 취약한 버전과 수정된 버전을 명확히 구분했다.
• NLP 기법(스무딩이 적용된 n-gram)의 통합은 신호 처리를 보완해 입력 검증 및 논리적 결함 탐지 정확도를 향상시켰다.
• GIPSY를 활용한 수요 기반 분산 평가 아키텍처는 이질적인 환경에서 효율적이고 확장 가능한 분석을 가능케 했다.
• MARFCAT는 Wireshark 1.2.0에서 CWE-119 및 CWE-189와 같은 고위험 취약점을 포함해 총 38개의 별도된 취약점을 성공적으로 탐지했으며, 선형 수준의 정밀한 국소화 및 심각도 점수를 제공했다.