[논문 리뷰] Malware Detection Using Frequency Domain-Based Image Visualization and Deep Learning

Tajuddin Manhar Mohammed, Lakshmanan Nataraj외 3명|arXiv (Cornell University)|2021. 01. 26.

Advanced Malware Detection Techniques참고 문헌 71인용 수 5

한 줄 요약

이 논문은 Windows 실행 파일 바이너리를 이황(2-문자 조합, N=2)의 이산余弦변환(DCT) 도메인 주파수 카운트를 사용하여 Grayscale 이미지로 시각화하고, 이를 바탕으로 딥러닝—특히 얕고 전이학습 기반의 CNN(예: ResNet)을 적용하여 분류하는 새로운 악성코드 탐지 방법을 제안한다. 이 방법은 새로운 대규모 데이터셋인 MaleX에서 이진 분류 정확도 96%를 달성하였으며, 앙상블 특징 융합 및 오차 기반 공동 메트릭 설계를 통해 뛰어난 일반화 능력과 강건성을 입증하였다.

ABSTRACT

We propose a novel method to detect and visualize malware through image classification. The executable binaries are represented as grayscale images obtained from the count of N-grams (N=2) of bytes in the Discrete Cosine Transform (DCT) domain and a neural network is trained for malware detection. A shallow neural network is trained for classification, and its accuracy is compared with deep-network architectures such as ResNet that are trained using transfer learning. Neither dis-assembly nor behavioral analysis of malware is required for these methods. Motivated by the visual similarity of these images for different malware families, we compare our deep neural network models with standard image features like GIST descriptors to evaluate the performance. A joint feature measure is proposed to combine different features using error analysis to get an accurate ensemble model for improved classification performance. A new dataset called MaleX which contains around 1 million malware and benign Windows executable samples is created for large-scale malware detection and classification experiments. Experimental results are quite promising with 96% binary classification accuracy on MaleX. The proposed model is also able to generalize well on larger unseen malware samples and the results compare favorably with state-of-the-art static analysis-based malware detection algorithms.

연구 동기 및 목표

• 디스assembly나 행동 분석을 필요로 하지 않으면서도 고정밀도·저계산량의 악성코드 탐지 문제를 해결하기 위해.
• 딥러닝에 적합한 시각적 패턴을 제공할 수 있는 악성코드 바이너리의 주파수 도메인 표현이 공간 도메인 바이트 플롯보다 더 구분력이 높을 수 있는지 탐색하기 위해.
• 데이터 기반 악성코드 탐지 및 분류 연구를 지원하기 위해 대규모이고 균형 잡힌 데이터셋(MaleX)을 구축하기 위해.
• DCT 기반 및 바이트플롯 이미지 특징을 최적의 방식으로 융합하여 앙상블 모델 성능을 향상시키기 위해 공동 특징 메트릭을 개발하기 위해.
• 전이학습 및 미세조정 전략을 활용하여, 새로운 더 큰 악성코드 샘플에 대해 딥러닝 모델의 일반화 능력을 평가하기 위해.

제안 방법

• 이산余弦변환(DCT) 도메인에서 이황(N=2)의 빈도 수를 계산하여 Windows 실행 파일의 원시 바이너리 바이트를 Grayscale 이미지로 변환한다.
• DCT 기반 이미지 표현을 사용하여 이진 악성코드 분류를 위한 얕은 3C2D 컨볼루션 신경망(CNN)을 훈련시킨다.
• DCT 기반 이미지에 대해 미리 훈련된 ResNet-18 및 ResNet-50 아키텍처를 사용하여 전이학습을 적용하고, 분류 정확도를 향상시킨다.
• 바이트플롯 및 DCT 기반 이미지에서 전역 GIST 기술자를 추출하여 학습된 딥 특징과 비교한다.
• 오차 분 析를 기반으로 DCT 기반 및 바이트플롯 이미지 특징을 최적으로 융합할 수 있는 공동 특징 메트릭을 설계한다.
• 훈련, 검증, 테스트를 위해 모두의 모델에 사용할 수 있는 대규모이고 균형 잡힌 데이터셋(MaleX)을 사용한다. 이 데이터셋에는 악성 샘플 864,669건과 양성 샘플 179,725건이 포함되어 있다.

실험 결과

연구 질문

• RQ1 DCT 변환된 이황 빈도 수에서 유도된 악성코드 바이너리의 주파수 도메인 표현이, 딥러닝 기반 분류에 적합한 시각적으로 일관되고 구분력 있는 패턴을 생성할 수 있는가?
• RQ2 DCT 기반 이미지에 훈련된 얕은 CNN의 성능이, 악성코드 탐지 작업에서 ResNet과 같은 전이학습 기반 딥 네트워크보다 어떻게 다를까?
• RQ3 DCT 기반 이미지와 바이트플롯 이미지의 특징을 앙상블 모델을 통해 융합할 경우, 분류 정확도 향상에 어느 정도 기여할 수 있는가?
• RQ4 제안된 모델은 더 크고 이전에 본 적 없는 악성코드 샘플에 대해 얼마나 잘 일반화되는가? 특히 분포 외 테스트 세트에서 AUC 및 정확도 측면에서 어떻게 성능을 내는가?
• RQ5 제안된 공동 특징 메트릭이 이질적인 특징(DCT 대비 바이트플롯)의 융합을 향상시키는 데 기여하는 정도는 어떠한가?

주요 결과

• 제안된 DCT 기반 이미지 시각화 방법은 MaleX 데이터셋에서 이진 분류 정확도 96%를 달성하여 기존의 수작업 특징보다 뚜렷하게 뛰어난 성능을 보였다.
• 얕은 3C2D CNN은 테스트 세트에서 83.60%의 정확도를 기록하여 상대적으로 작은 훈련 세트(악성 샘플 161,752건)에도 불구하고 강력한 일반화 능력을 입증하였다.
• ResNet-50를 사용한 전이학습은 최고의 테스트 정확도 86.20%를 기록하여, 더 깊은 아키텍처가 악성코드 이미지 표현에서 계층적 특징 학습의 이점을 극대화할 수 있음을 시사했다.
• 공동 특징 메트릭은 DCT 기반 및 바이트플롯 이미지 특징을 성공적으로 융합하여 앙상블 모델의 성능 향상을 이끌어내었으며, 오차 분석 및 앙상블 모델링을 통해 검증되었다.
• 얕은 CNN 모델의 ROC 곡선은 테스트 세트에서 AUC 0.9706을 기록하여 강력한 구분 능력과 낮은 거짓 양성 비율을 보였다.
• GIST 기술자를 사용한 표준 분류기(k-NN 및 Random Forest)보다 성능이 뛰어나, 이 맥락에서 딥 특징가 수작업 특징보다 열등하지 않음을 확인하였다.