[논문 리뷰] Detecting malicious PDF using CNN

Raphael Fettaya, Yishay Mansour|arXiv (Cornell University)|2020. 07. 24.

Advanced Malware Detection Techniques참고 문헌 16인용 수 7

한 줄 요약

이 논문은 수작업 특성 추출 없이 원시 바이트 수준 표현에서 악성 PDF 파일을 직접 탐지하기 위해 다수의 합성 컨볼루션 신경망(CNN)을 사용하는 딥러닝 접근법을 제안한다. 이 방법은 94%의 탐지 정확도를 달성하며, 기존 상용 백신 솔루션을 뛰어넘는 동시에 제로데이 악성코드를 식별하고, 높은 균일성과 완전성을 갖춘 악성코드 패밀리로 군집화한다.

ABSTRACT

Malicious PDF files represent one of the biggest threats to computer security. To detect them, significant research has been done using handwritten signatures or machine learning based on manual feature extraction. Those approaches are both time-consuming, require significant prior knowledge and the list of features has to be updated with each newly discovered vulnerability. In this work, we propose a novel algorithm that uses an ensemble of Convolutional Neural Network (CNN) on the byte level of the file, without any handcrafted features. We show, using a data set of 90000 files downloadable online, that our approach maintains a high detection rate (94%) of PDF malware and even detects new malicious files, still undetected by most antiviruses. Using automatically generated features from our CNN network, and applying a clustering algorithm, we also obtain high similarity between the antiviruses' labels and the resulting clusters.

연구 동기 및 목표

• 딥러닝을 활용하여 수작업 특성 추출 없이 악성 PDF 파일을 자동으로 탐지할 수 있는 방법을 개발하기.
• 기존 시그니처 기반 백신 시스템에서 회피하는 제로데이 및 이전에 알려지지 않은 악성코드 변종을 향상된 방식으로 탐지하기.
• CNN에서 학습된 특징을 기반으로 악성 PDF를 자동으로 고유한 패밀리로 분류하기.
• 실제 세계 데이터셋에서 상용 백신 엔진과의 성능을 평가하기.
• 향후 연구를 위한 공개 벤치마크 데이터셋 구축하기.

제안 방법

• 모델은 원시 PDF 파일을 바이트 값의 2차원 텐서로 처리하여 각 파일을 CNN 입력용 이미지로 간주한다.
• 다양한 CNN 아키텍처의 앙상블을 학습시켜 정확도와 내성 강도를 향상시킨다.
• 수작업 특성 추출이 필요 없도록 바이트 수준 표현에서 계층적 특징을 직접 학습한다.
• HDBSCAN 군집화를 사용하여 CNN의 학습된 특징 임베딩을 기반으로 레이블 없이도 악성코드를 패밀리로 군집화한다.
• 탐지율, 위양성 비율, 군집화 지표(균일성 및 완전성)를 사용하여 모델 성능을 평가한다.
• VirusTotal에서 확보한 90,000개의 PDF 파일로 구성된 데이터셋을 기반으로 모델을 검증한다.

실험 결과

연구 질문

• RQ1 원시 바이트 수준 데이터에서 학습된 CNN 모델은 수작업 특성 추출 없이도 악성 PDF를 높은 정확도로 탐지할 수 있는가?
• RQ2 모델은 상용 백신 엔진이 탐지하지 못한 제로데이 악성코드를 탐지할 수 있는가?
• RQ3 CNN이 학습한 특징은 악성 PDF를 의미 있고 일관된 패밀리로 얼마나 잘 군집화할 수 있는가?
• RQ4 모델의 군집화 성능은 여러 백신 업체가 할당한 레이블과 비교해 어떻게 되는가?
• RQ5 다양한 백신 업체가 다른 명명 규칙을 사용함에도 불구하고, 모델의 내부 표현은 악성코드 패밀리 간의 구조적 유사성을 어떻게 드러내는가?

주요 결과

• CNN 앙상블은 악성 PDF에 대해 94%의 탐지율을 달성했으며, 위양성 비율은 0.5%로 낮게 유지되었다.
• 시험 당시 대부분의 상용 백신 엔진이 탐지하지 못한 악성코드 샘플 중 14.5%를 성공적으로 탐지하여 제로데이 탐지 능력을 입증했다.
• CNN가 학습한 특징의 군집화는 10개의 클러스터에서 75% 이상의 균일성 점수를 기록하여 백신 패밀리 레이블과 강한 일치를 보였다.
• 모델은 군집화에서 높은 완전성을 보였으며, 75%의 악성코드 샘플이 적어도 하나의 백신 업체의 패밀리 지정과 일치하는 클러스터로 그룹화되었다.
• 특히 알려지지 않은 또는 제로데이 위협에 대해 동일한 테스트 세트에서 대부분의 상용 백신 솔루션보다 높은 탐지율을 보였다.
• 연구에서 다양한 백신 업체가 일관되지 않은 명명 규칙을 사용하는 것으로 드러났으며, 일부는 더 구체적인 레이블(예: Microsoft)을 사용하고 다른 일부는 더 일반적인 레이블(예: McAfee)을 사용했다. 이에 대해 모델의 군집화가 일관성을 회복하는 데 기여했다.