[논문 리뷰] Novel Feature Extraction, Selection and Fusion for Effective Malware Family Classification

Mansour Ahmadi, Dmitry Ulyanov외 3명|arXiv (Cornell University)|2015. 11. 13.

Advanced Malware Detection Techniques참고 문헌 28인용 수 4

한 줄 요약

이 논문은 압축 해제나 복호화 없이 포터블 실행 파일(PE) 파일에서 새로운 구조적 특징을 추출하는 경량이면서 고정확도의 악성코드 패밀리 분류 시스템을 제안한다. 내용 기반 특징과 통계적 특징을 각각의 클래스에 맞는 가중치 전략으로 융합하고, 백킹을 사용한 XGBoost를 적용하여, 마이크로소프트 악성코드 분류 챌린지 데이터셋에서 99.8%의 정확도를 달성하며, 더 높은 계산 비용을 요구하는 복잡한 모델들보다 뛰어난 성능을 보였다.

ABSTRACT

Modern malware is designed with mutation characteristics, namely polymorphism and metamorphism, which causes an enormous growth in the number of variants of malware samples. Categorization of malware samples on the basis of their behaviors is essential for the computer security community, because they receive huge number of malware everyday, and the signature extraction process is usually based on malicious parts characterizing malware families. Microsoft released a malware classification challenge in 2015 with a huge dataset of near 0.5 terabytes of data, containing more than 20K malware samples. The analysis of this dataset inspired the development of a novel paradigm that is effective in categorizing malware variants into their actual family groups. This paradigm is presented and discussed in the present paper, where emphasis has been given to the phases related to the extraction, and selection of a set of novel features for the effective representation of malware samples. Features can be grouped according to different characteristics of malware behavior, and their fusion is performed according to a per-class weighting paradigm. The proposed method achieved a very high accuracy ($\approx$ 0.998) on the Microsoft Malware Challenge dataset.

연구 동기 및 목표

• 압축 해제나 복호화 없이 다형성 및 다형성 악성코드 변종을 효율적으로 분류하는 데 도전하는 것.
• 분류 성능 향상을 위해 내재된 PE 파일 특성을 반영하는 구조적 특징의 작고도 구별력 있는 세트를 설계하는 것.
• 산업적 구현을 위해 계산 복잡도를 최소화하면서도 높은 분류 정확도를 달성하는 것.
• 복잡한 모델들에 비해 특징 수를 줄여 해석 가능성을 높이는 악성코드 분류를 가능하게 하는 것.
• 실제 악성코드 방어 시나리오에서 시스템의 강건성과 실용성을 평가하는 것.

제안 방법

• 악성코드 샘플에서 바이트 코드 n-그램, 옵코드 n-그램, API 호출 시퀀스와 같은 내용 기반 특징을 추출한다.
• 섹션과 헤더의 엔트로피 및 분포 패턴을 반영하는 PE 파일의 구조적 레이아웃을 고려한 새로운 통계적 특징을 제안한다.
• 정확도와 특징 수의 균형을 고려해 가장 관련성이 높은 특징 카테고리들을 식별하기 위해 전진 단계 특징 선택 알고리즘을 적용한다.
• 가족별로 구별 가능한 신호를 강조하기 위해 각 클래스에 맞는 가중치 전략을 사용해 특징을 융합한다.
• 복잡한 앙상블 아키텍처보다 효율성과 강건성을 우선시하는 XGBoost와 백킹을 분류기로 활용한다.
• 원시 바이너리와 디어셈블 코드의 정적 분석에만 의존함으로써 압축 해제 및 복호화를 피한다.

실험 결과

연구 질문

• RQ1 PE 파일의 새로운 구조적 특징은 압축 해제나 복호화 없이도 악성코드 패밀리 분류 정확도를 향상시킬 수 있는가?
• RQ2 내용 기반 특징과 구조적 특징을 다양한 방식으로 융합할 경우 분류 성능에 어떤 영향을 미치는가?
• RQ3 악성코드 패밀리 분류에서 특징 세트의 크기와 분류 정확도 사이의 상충 관계는 어떠한가?
• RQ4 마이크로소프트 악성코드 챌린지의 우승 솔루션과 비교했을 때, 제안된 방법은 성능과 복잡도 측면에서 어떻게 다른가?
• RQ5 분류를 목적으로 하는 본 시스템의 설계 특성상, 회피 또는 오염 공격에 대해 어느 정도 강건한가?

주요 결과

• 제안된 방법은 마이크로소프트 악성코드 분류 챌린지 데이터셋에서 약 0.998의 분류 정확도를 달성하였으며, 우승 팀의 0.9983 결과와 동일한 성능을 보였다.
• 시험 데이터에서 로스 손실(logloss)이 0.0028로 나타나 모델의 일반화 능력과 캘리브레이션 수준이 매우 우수함을 시사한다.
• 압축 해제나 복호화 없이도 압축 및 복호화된 악성코드를 효과적으로 분류할 수 있었으며, 성능 유지에 기여하였다.
• 전진 특징 선택 과정을 통해 특징 수를 효과적으로 줄였고, 이는 정확도 유지와 더불어 해석 가능성 향상에 기여하였다.
• 높은 정확도와 낮은 계산 비용의 균형을 이루고 있어 산업적 구현에 매우 적합하다.