[논문 리뷰] Throttling Malware Families in 2D

Mohamed Nassar, Haı̈dar Safa|arXiv (Cornell University)|2019. 01. 29.

Advanced Malware Detection Techniques참고 문헌 9인용 수 4

한 줄 요약

이 논문은 t-SNE 기반 파이프라인을 제안하여 악성코드 패밀리를 2차원으로 시각화하고 분류하며, t-SNE 임bedding 표현이 SVM 분류기 성능을 크게 향상시킨다는 것을 입증한다. 고차원 n-gram 특징을 2차원으로 압축함으로써 교차검증 정확도를 향상시키고, 특징 공학을 최소화한 채로 9개 클래스의 악성코드 데이터셋에서 테스트 로그로스 0.1719를 달성한다.

ABSTRACT

Malicious software are categorized into families based on their static and dynamic characteristics, infection methods, and nature of threat. Visual exploration of malware instances and families in a low dimensional space helps in giving a first overview about dependencies and relationships among these instances, detecting their groups and isolating outliers. Furthermore, visual exploration of different sets of features is useful in assessing the quality of these sets to carry a valid abstract representation, which can be later used in classification and clustering algorithms to achieve a high accuracy. In this paper, we investigate one of the best dimensionality reduction techniques known as t-SNE to reduce the malware representation from a high dimensional space consisting of thousands of features to a low dimensional space. We experiment with different feature sets and depict malware clusters in 2-D. Surprisingly, t-SNE does not only provide nice 2-D drawings, but also dramatically increases the generalization power of SVM classifiers. Moreover, obtained results showed that cross-validation accuracy is much better using the 2-D embedded representation of samples than using the original high-dimensional representation.

연구 동기 및 목표

• t-SNE가 저차원 공간에서 악성코드 패밀리 시각화에 유용한가를 탐색하기 위해.
• 고차원 입력에 비해 t-SNE 임bedding 표현이 SVM 분류기의 일반화 성능을 향상시키는가를 평가하기 위해.
• 간단한 n-gram 특징이 t-SNE와 함께 악성코드 분류에 효과적인가를 평가하기 위해.
• t-SNE와 SVM을 활용한 경량이며 초보자용 인사이트를 제공하는 분류 파이프라인을 개발하기 위해.
• 실제로 큰 규모의, 클래스가 불균형한 9개 클래스의 실세계 악성코드 데이터셋에서 접근 방식을 검증하기 위해.

제안 방법

• 악성코드 바이너리에서 3-, 4-, 5바이트 n-gram 특징을 추출하고, 빈도가 가장 높은 상위 1,000개 특징을 선택한다.
• 퍼플렉서티=5이고 학습률이 200인 조건에서 1,000차원 특징 공간을 2차원 임베딩으로 압축하기 위해 t-SNE를 적용한다.
• t-SNE 임베딩된 훈련 데이터에 대해 RBF 커널을 사용한 SVM을 훈련하고, 훈련 및 교차검증 세트에서 평가한다.
• 테스트를 위해 전체 데이터셋(훈련 + 테스트)에 t-SNE를 적용하여 테스트 포인트를 임bed딩한 후, 훈련된 SVM을 사용해 클래스 확률을 예측한다.
• 예측 시 참값 레이블에 접근할 수 없으며, Kaggle 제출을 통해 테스트 세트의 로그로스를 평가한다.
• 모델 재학습 없이 전체 데이터의 공동 t-SNE 피팅을 사용하는 비모수적 t-SNE 매핑을 사용한다.

실험 결과

연구 질문

• RQ1 t-SNE 시각화는 2차원에서 악성코드 패밀리 간의 구조적 관계와 클러스터를 효과적으로 드러내는가?
• RQ2 t-SNE 임베딩은 악성코드 분류 작업에서 SVM 분류기의 일반화 성능을 향상시키는가?
• RQ3 교차검증 정확도 측면에서 t-SNE 임베딩 특징은 원본 고차원 특징에 비해 어떻게 성능을 내는가?
• RQ4 어느 정도의 간단한 n-gram 특징 세트가 t-SNE와 함께 특징 공학을 최소화한 채 경쟁적인 성능을 달성할 수 있는가?
• RQ5 t-SNE–SVM 파이프라인은 클래스 불균형이 있는 더 큰 실세계 악성코드 데이터셋으로 일반화 가능한가?

주요 결과

• t-SNE 임베딩은 3- 및 5-클래스 서브셋에서 교차검증 정확도를 두 배로 향상시켰으며, 2차원 표현이 1,000D 입력보다 우수한 성능을 보였다.
• 전체 9-클래스 데이터셋에서 2차원 임베딩 표현은 3-바이트 그램을 사용해 교차검증 정확도 94.26%를 달성했고, 원본 1,000D 공간에서는 단지 56.76%에 그쳤다.
• 전체 데이터셋의 최종 테스트 로그로스는 0.1719였으며, 무작위 분류기의 기준값 2.1972에 비해 뚜렷한 향상이 있었다.
• 1,000D 공간에서 훈련 정확도는 최대 99.66%였지만, 교차검증 정확도는 열악했으며, 이는 과적합을 시사했고, t-SNE는 이를 효과적으로 완화했다.
• 2차원 임베딩 공간은 더 뛰어난 클러스터링 능력을 보였으며, 이는 RBF-SVM의 클래스 간 일반화 능력을 향상시켰다.
• 5-그램 특징이 2차원 공간에서 가장 우수한 성능을 보였으며, 9-클래스 데이터셋에서 교차검증 정확도 92.58%를 달성해 3- 및 4-그램보다 뛰어났다.