[논문 리뷰] Virtual Machine Introspection Based Malware Behavior Profiling and Family Grouping

Shun-Wen Hsiao, Yeali S. Sun외 1명|arXiv (Cornell University)|2017. 05. 04.

Advanced Malware Detection Techniques참고 문헌 33인용 수 8

한 줄 요약

이 논문은 악성코드 실행 중 윈도우 API 호출 시퀀스(매개변수 및 반환값 포함)를 캡처하여 행동 프로파일을 생성하는 가상 머신 인트로스펙션(VMI) 기반 악성코드 프로파일러(VMP)를 제안한다. 계층적 클러스터링과 새로운 쌍별 분류 점수(PCS) 평가 방법을 통해 VMP는 악성코드를 가족으로 효과적으로 그룹화하며, 대부분의 상용 악성코드 방어 엔진보다 가족 분류 정확도가 뛰어나면서도 악성코드와 정상 소프트웨어를 구분한다.

ABSTRACT

The proliferation of malwares have been attributed to the alternations of a handful of original malware source codes. The malwares alternated from the same origin share some intrinsic behaviors and form a malware family. Expediently, identifying its malware family when a malware is first seen on the Internet can provide useful clues to mitigate the threat. In this paper, a malware profiler (VMP) is proposed to profile the execution behaviors of a malware by leveraging virtual machine introspection (VMI) technique. The VMP inserts plug-ins inside the virtual machine monitor (VMM) to record the invoked API calls with their input parameters and return values as the profile of malware. In this paper, a popular similarity measurement Jaccard distance and a phylogenetic tree construction method are adopted to discover malware families. The studies of malware profiles show the malwares from a malware family are very similar to each others and distinct from other malware families as well as benign software. This paper also examines VMP against existing anti-malware detection engines and some well-known malware grouping methods to compare the goodness in their malware family constructions. A peer voting approach is proposed and the results show VMP is better than almost all of the compared anti-malware engines, and compatible with the fine tuned text-mining approach and high order N-gram approaches. We also establish a malware profiling website based on VMP for malware research.

연구 동기 및 목표

• 코드 수정된 변종이 존재하는 상황에서도 행동 유사성에 기반해 악성코드 가족을 식별하는 데 도전하는 데 목적을 두며.
• 저수준 시스템 호출을 넘어서 의미적으로 풍부한 실행 트레이스를 캡처하는 런타임 악성코드 프로파일링 시스템을 개발하는 데 목적을 두며.
• 다양한 악성코드 방어 엔진 간 일관되지 않은 이름 체계를 고려한 악성코드 가족 그룹화를 위한 강력한 평가 프레임워크를 구축하는 데 목적을 두며.
• 연구 및 방어 목적을 위해 공개 가능한 VMP 시스템 기반 악성코드 프로파일링 웹사이트를 제공하는 데 목적을 두며.

제안 방법

• VMP 시스템은 가상 머신 모니터(VMM)에 플러그인을 통합하여 게스트 VM의 런타임 인트로스펙션을 수행한다.
• 함수 매개변수 및 반환값을 포함한 전체 윈도우 API 호출 시퀀스를 행동 프로파일로 캡처한다.
• API 호출 시퀀스 기반의 거리 측정법을 사용하여 악성코드 샘플 간 유사도를 계산한다.
• 평균 연결 방식을 사용한 계층적 클러스터링을 적용하여 악성코드 가족의 구조를 드러내는 계통수를 구성한다.
• 여러 검출 엔진 간 가족 그룹화 결과의 일관성을 평가하기 위해 새로운 쌍별 분류 점수(PCS)를 도입한다.
• 다중 VM을 사용하는 분산 작업 큐에 시스템을 구축하여 공개 웹사이트를 통해 확장 가능한, 실시간 악성코드 프로파일링을 가능하게 한다.

실험 결과

연구 질문

• RQ1 세부적인 API 호출 데이터를 활용한 VMI 기반 프로파일링이 악성코드 가족과 정상 소프트웨어를 효과적으로 구분할 수 있는가?
• RQ2 제안된 VMP 기반의 가족 그룹화는 기존의 악성코드 방어 엔진과 전통적인 클러스터링 방법에 비해 정확도에서 어떻게 비교되는가?
• RQ3 새로운 쌍별 분류 점수(PCS)가 악성코드 가족 분류의 일관성과 신뢰성 반영 정도에 얼마나 기여하는가?
• RQ4 VMP 시스템은 실제 공개 환경에서 다양한 악성코드 샘플을 효율적으로 프로파일링할 수 있는가?
• RQ5 API 호출에 매개변수와 반환값을 포함시키는 것이 악성코드 행동 프로파일링의 정밀도에 어떤 영향을 미치는가?

주요 결과

• VMP 시스템은 행동 유사성에 기반해 악성코드 샘플을 가족으로 성공적으로 그룹화하며, 정상 소프트웨어와 명확한 분리가 이루어진다.
• VMP 프로파일에서 생성된 계통수는 알려진 악성코드 가족 관계를 정확하게 반영하며 높은 내부 일관성을 보인다.
• 쌍별 분류 점수(PCS) 평가 결과, VMP는 비교된 거의 모든 상용 악성코드 방어 엔진보다 가족 그룹화 정확도에서 뛰어나다.
• VMP 시스템은 텍스트 마이닝(Text_Mining) 및 N-Gram_N과 같은 최신 기술과 비교해도 동등하거나 더 우수한 성능을 보인다.
• 공개 악성코드 프로파일링 웹사이트를 통해 업로드된 샘플을 실시간으로 분석할 수 있으며, 실행 후 5분 이내에 프로파일을 다운로드할 수 있다.