[논문 리뷰] Malware Detection using Attribute-Automata to parse Abstract Behavioral Descriptions

Jacob, Gregoire, Debar, Herve외 1명|ArXiv.org|2009. 02. 02.

Advanced Malware Detection Techniques참고 문헌 10인용 수 7

한 줄 요약

이 논문은 추상적 행동 기술을 분석하기 위해 속성 오토마타를 사용하는 일반적이고 이중 계층 구조의 악성코드 탐지 프레임워크를 제안한다. 데이터 흐름 추적과 개체 유형 지정을 위한 의미 규칙을 갖춘 속성 문법을 통해 플랫폼에 종속적인 추상화를 일반적 탐지와 분리함으로써, VBScript 악성코드에서 89%의 탐지율과 PE 실행 파일에서 51%의 탐지율을 달성하면서도 극히 낮은 가짜 경고를 기록하였다.

ABSTRACT

Most behavioral detectors of malware remain specific to a given language and platform, mostly PE executables for Windows. The objective of this paper is to define a generic approach for behavioral detection based on two layers respectively responsible for abstraction and detection. The first abstraction layer remains specific to a platform and a language. This first layer interprets the collected instructions, API calls and arguments and classifies these operations as well as the involved objects according to their purpose in the malware lifecycle. The second detection layer remains generic and is totally interoperable between the different abstraction components. This layer relies on parallel automata parsing attribute-grammars where semantic rules are used for object typing (object classification) and object binding (data-flow). To feed detection and to experiment with our approach we have developed two different abstraction components: one processing system call traces from native code and one processing the VBScript interpreted language. The different experimentations have provided promising detection rates, in particular for script files (89%), with almost none false positives. In the case of process traces, the detection rate remains significant (51%) but could be increased by more sophisticated collection tools.

연구 동기 및 목표

• 기능적 가로막힘에 의해 회피되는 악성코드 행동 탐지를 위한 일반적이고 플랫폼 및 언어에 관계없는 접근 방식을 개발한다.
• 시스템 수준 관측의 추상화를 탐지 논리에서 분리하여 모듈화되고 확장 가능한 설계를 가능하게 한다.
• 악성 행동을 데이터 흐름 제어 및 악성코드 생명주기 내 개체 분류를 위한 의미 규칙이 있는 속성 문법으로 모델링한다.
• 네이티브 PE 추적과 VBScript를 위한 두 가지 추상화 구성 요소를 사용하여 실제 데이터에서 접근 방식을 평가한다.
• 낮은 가짜 경고 비율과 현대 하드웨어에서의 높은 성능을 기반으로 높은 탐지율을 보여준다.

제안 방법

• 프레임워크는 두 계층 아키텍처를 사용한다: 플랫폼에 종속적인 이벤트(예: 시스템 호출, 스크립트 작업)를 일반적인 행동 모델로 매핑하는 추상화 계층과, 이 모델을 속성 오토마타로 분석하는 탐지 계층이다.
• 속성 문법은 유효한 행동 시퀀스를 위한 문법 규칙과 개체 유형 지정(예: '설치', '통신') 및 데이터 흐름 바인딩(타이닝)을 위한 의미 규칙을 정의한다.
• 탐지 계층은 추상화된 행동 로그를 분석하기 위해 결정적 유한 오토마타를 사용하며, 시간 복잡도는 선형이며 스택 공간 사용도 낮다.
• 추상화 구성 요소는 원시 시스템 추적(PE)과 스크립트 실행(VBScript)을 표준화된 로그로 변환하여 데이터 크기를 각각 29배와 6배 줄였다.
• 성능은 병렬 분석 및 실시간 후킹을 통해 최적화되어 오프라인 분석에서 비용이 많이 드는 문자열 비교에 의존도를 낮췄다.
• 해석 중에 모호성 비율(α)을 측정하여 이상 징후를 탐지하며, 높은 α 값은 악성 활동과 강하게 상관된다.

실험 결과

연구 질문

• RQ1 데이터 흐름 및 개체 유형 지정을 위한 의미 규칙이 있는 속성 문법을 사용하여 일반적이고 플랫폼에 종속되지 않는 악성코드 행동 모델을 구성할 수 있는가?
• RQ2 추상화 계층이 플랫폼에 종속적인 분석과 일반적 탐지 간의 분리를 가능하게 하여 별도의 업데이트와 유지보수성 향상을 이룰 수 있는가?
• RQ3 속성 오토마타 기반의 분석이 다양한 플랫폼과 언어에서 알려진 악성코드 행동을 낮은 가짜 경고 비율로 탐지할 수 있는 정도는 어느 정도인가?
• RQ4 수집 메커니즘과 데이터 축소가 탐지 성능과 확장성에 어떤 영향을 미치는가?
• RQ5 해석 중 모호성 비율(α)은 악성 행동의 신뢰할 수 있는 지표로 기능할 수 있는가?

주요 결과

• Visual Basic Script 악성코드에 대해 89%의 탐지율을 기록하였고, 거의 가짜 경고가 없어 해석 언어에서 뛰어난 성능을 입증하였다.
• 네이티브 PE 실행 파일의 경우 탐지율이 51%였으며, 이는 여전히 의미 있는 수준이며 향상된 수집 도구를 통해 향후 향상될 것으로 예상된다.
• 추상화 계층은 PE 추적 데이터를 29배, VBScript 로그를 6배 줄여 저장 및 처리 효율을 크게 향상시켰다.
• 탐지 성능은 매우 효율적이었으며, 이중 코어 2.6GHz 하드웨어에서 PE 로그당 0.14초, VBScript 로그당 0.001초 미만이었다.
• 해석 중 사용된 최대 스택 크기는 낮았다—문법 스택은 7, 의미 스택은 3이었으며, 낮은 메모리 오버헤드를 의미한다.
• 모호성 비율(α)은 최악의 추정치(α ≈ α·nₑ, 2ⁿₑ가 아님)보다 항상 훨씬 낮게 유지되어 실질적인 해석 복잡도가 관리 가능하고 확장 가능함을 시사한다.