[논문 리뷰] Malware Detection by Eating a Whole EXE

Edward Raff, Jon Barker외 4명|arXiv (Cornell University)|2017. 10. 25.

Advanced Malware Detection Techniques참고 문헌 40인용 수 60

한 줄 요약

이 논문은 1D 컨볼루션 신경망을 사용하여 원시 PE 실행 파일을 바이트 시퀀스로 처리함으로써 악성코드를 탐지하는 딥러닝 모델인 MalConv를 소개한다. 500단계의 커널을 통해 장거리 패턴을 포착하며, 최대 2MB 크기의 큰 바이너리 파일에서도 높은 정확도를 달성한다. 동적 분석이나 수동 특징 공학에 의존하지 않고 악성 행동의 해석 가능한 국소 영역을 식별한다.

ABSTRACT

In this work we introduce malware detection from raw byte sequences as a fruitful research area to the larger machine learning community. Building a neural network for such a problem presents a number of interesting challenges that have not occurred in tasks such as image processing or NLP. In particular, we note that detection from raw bytes presents a sequence problem with over two million time steps and a problem where batch normalization appear to hinder the learning process. We present our initial work in building a solution to tackle this problem, which has linear complexity dependence on the sequence length, and allows for interpretable sub-regions of the binary to be identified. In doing so we will discuss the many challenges in building a neural network to process data at this scale, and the methods we used to work around them.

연구 동기 및 목표

• 동적 실행이나 수동 특징 공학 없이 원시 바이너리 바이트 시퀀스에서 직접 악성코드를 탐지할 수 있는 머신러닝 모델을 개발하는 것.
• PE 파일에서 흔히 발생하는 매우 긴 시퀀스(최대 200만 단계)를 딥 네트워크로 처리하는 과제를 해결하는 것.
• 악성 분류에 기여하는 바이너리 내 해석 가능한 국소 영역을 식별하여 모델의 투명성을 향상시키는 것.
• 기존의 시그니처 기반 탐지 및 동적 분석과 같은 접근 방식의 한계를 극복하여 제로데이나 다형성 악성코드에 효과적이지 않은 문제를 해결하는 것.
• 대규모 바이너리 시퀀스에서 학습을 수행하면서 과적합과 메모리 병목 현상을 방지할 수 있는 아키텍처 선택 사항을 탐색하는 것.

제안 방법

• 모델은 사전 처리나 구문 분석 없이 PE 파일의 원시 바이트 시퀀스를 입력으로 처리하며, 각 바이트를 시퀀스 내 토큰으로 간주한다.
• 학습 가능한 8차원 임베딩 레이어가 각 바이트(0–255)를 조밀한 벡터 표현으로 매핑하여 의미적이고 구조적인 패턴을 포착한다.
• 커널 크기 500, 스트라이드 500, 필터 수 128인 1D 컨볼루션 레이어가 시퀀스 전반에 걸쳐 국소 패턴 탐지를 수행하며, 효율적인 공간 압축을 가능하게 한다.
• 장기간 시퀀스에서 정보 흐름을 제어하고 학습 안정성을 향상시키기 위해 게이팅 컨볼루션 유닛을 사용한다.
• 시퀀스 전반에 걸쳐 시간적 최대 풀링을 적용하여 차원을 감소시키고 분류에 적합한 가장 중요한 특징을 추출한다.
• 최종적으로 128차원의 완전 연결 레이어와 소프트맥스를 통해 악성코드 분류 확률를 산출한다.

실험 결과

연구 질문

• RQ1 도메인 특화 특징 공학 없이도 깊이 있는 신경망이 원시 바이트 시퀀스에서 악성코드를 효과적으로 학습할 수 있는가?
• RQ2 최대 200만 단계의 시퀀스를 처리할 수 있도록 효과적인 아키텍처 선택 사항은 무엇인가? 이는 일반적인 NLP나 신호 처리 작업보다 훨씬 긴 길이이다.
• RQ3 게이팅 컨볼루션과 특정 풀링 전략의 사용이 대규모 바이너리 파일에서 일반화 능력을 향상시키고 과적합을 줄이는 데 기여하는가?
• RQ4 정확도와 해석 가능성 측면에서 단순 기준 모델과 기존 악성코드 탐지 방법과 비교해 볼 때 모델의 성능은 어떠한가?
• RQ5 모델은 바이너리 내에서 악성 행동 예측에 기여하는 국소적이고 해석 가능한 영역을 식별할 수 있는가?

주요 결과

• MalConv는 최대 2MB 길이의 원시 PE 파일을 성공적으로 처리하여 미리 보지 않은 악성코드 샘플에 대해 높은 탐지 정확도를 달성한다.
• 모델은 이전에 전체 바이너리를 처리하지 못했던 단순 기준 모델과 이전의 시도들보다 뛰어난 성능을 보이며, 아키텍처의 효과성을 입증한다.
• 더 넓은 컨볼루션 필터(커널 크기 500)와 적은 수의 레이어가 더 깊고 좁은 아키텍처보다 성능이 뛰어나며, 다른 도메인에서의 추세와는 정반대이다.
• 배치 정규화는 학습을 방해하는 것으로 밝혀져 최종 아키텍처에서 제거되었다.
• 모델은 악성 분류에 기여하는 해석 가능한 국소 영역을 식별하여 의심스러운 코드 세그먼트의 사후 분석을 가능하게 한다.
• Nesterov 모멘텀를 사용한 SGD가 Adam과 RMSProp과 같은 적응형 최적화 기법보다 더 좋은 학습 수렴과 일반화 성능을 보였다.