[논문 리뷰] Automatic Malware Description via Attribute Tagging and Similarity Embedding

Felipe N. Ducau, Ethan M. Rudd외 3명|arXiv (Cornell University)|2019. 05. 15.

Advanced Malware Detection Techniques인용 수 11

한 줄 요약

이 논문은 정적 PE 파일 특징과 벤더에서 제공한 검출 이름을 기반으로 한 딥러닝 기반 시스템을 제안한다. 이 시스템은 의미적 속성 태깅과 학습된 유사도 임베딩을 통해 악성코드를 자동으로 기술한다. 정적 PE 파일 특징과 벤더 제공 검출 이름을 기반으로 다중 레이블 신경망을 훈련시켜 인간이 이해할 수 있는 태그(예: '랜섬웨어', '패킹됨')를 생성하며, 태그당 1% 이하의 거짓 양성률을 기록하면서도 95%의 정확도를 달성한다. 또한 원래 특징보다 32배 작아진 압축된 32차원 임베딩 공간을 학습하여, 원-샷 악성코드 패밀리 식별 성능을 원래 특징 대비 30% 이상 향상시킨다.

ABSTRACT

With the rapid proliferation and increased sophistication of malicious software (malware), detection methods no longer rely only on manually generated signatures but have also incorporated more general approaches like machine learning detection. Although powerful for conviction of malicious artifacts, these methods do not produce any further information about the type of threat that has been detected neither allows for identifying relationships between malware samples. In this work, we address the information gap between machine learning and signature-based detection methods by learning a representation space for malware samples in which files with similar malicious behaviors appear close to each other. We do so by introducing a deep learning based tagging model trained to generate human-interpretable semantic descriptions of malicious software, which, at the same time provides potentially more useful and flexible information than malware family names. We show that the malware descriptions generated with the proposed approach correctly identify more than 95% of eleven possible tag descriptions for a given sample, at a deployable false positive rate of 1% per tag. Furthermore, we use the learned representation space to introduce a similarity index between malware files, and empirically demonstrate using dynamic traces from files' execution, that is not only more effective at identifying samples from the same families, but also 32 times smaller than those based on raw feature vectors.

연구 동기 및 목표

• 기존의 악성코드 패밀리 명명 방식에서 나타나는 일관성 부족과 실용적 정보 부족 문제를 해결하기 위해 의미적이고 인간이 이해할 수 있는 태깅 체계를 도입하기 위해.
• 기계학습 기반 탐지와 서명 기반의 맥락 이해 간 격차를 메우기 위해 악성코드에 대한 저차원 표현 공간을 학습하기 위해.
• 학습된 임베딩을 활용해 유사도 기반 악성코드 분석을 효율적이고 정확하며 확장 가능하게 수행하기 위해, 특히 소수의 예시(피처)가 있는 경우에 유용하도록 하기 위해.
• 여러 벤더 및 탐지 시스템으로부터의 지식을 통합하는 통합적이고 확장 가능한 악성코드 기술 프레임워크를 구축하기 위해.
• 최소한의 레이블 예측이 가능한 경우에도 학습된 임베딩이 원본 특징 벡터보다 악성코드 패밀리 식별에 뛰어나게 작용함을 입증하기 위해.

제안 방법

• 정적 PE 파일 특징과 다수의 벤더에서 유래한 의미적 태그를 기반으로 다중 레이블 딥 네ural 네트워크를 훈련시킨다.
• 공통의 저차원 유클리드 공간에서 유사한 행동을 보이는 악성코드가 거리 측정에서 가까이 오도록, 공동 임베딩 아키텍처를 사용해 학습한다.
• 유사한 태그를 가진 악성코드 샘플이 서로 가까이 위치하도록 훈련 중에 대비 손실 목표 함수를 적용한다.
• 학습된 임베딩 함수를 사용해 저차원 공간에서 코사인 또는 유클리드 거리 기반으로 파일 간의 유사도를 계산한다.
• 실시간으로 새로운 알려지지 않은 악성코드 바이너리의 기술 태그와 유사도 점수를 예측하기 위해 모델을 배포한다.
• 다이나믹 트레이스와 최근접 이웃 분류를 사용해, 원-샷 및 소수 샘플 조건에서 패밀리 식별 정확도를 측정하기 위해 시스템을 평가한다.

실험 결과

연구 질문

• RQ1 딥러닝 모델이 정적 바이너리 특징만으로도 인간이 이해할 수 있는 의미적 태그를 정확하게 예측할 수 있는가?
• RQ2 학습된 임베딩 공간이 원본 특징 표현보다 악성코드 샘플 간의 의미적 유사성을 더 잘 유지하는가?
• RQ3 제안된 유사도 측정 기준이 단 한 개 또는 소수의 알려진 예시만으로도 동일 패밀리의 새로운 악성코드 샘플을 효과적으로 식별하는 데 얼마나 유용한가?
• RQ4 유사도 탐지 성능을 유지하거나 향상시키면서도 임베딩 공간을 상당히 압축할 수 있는가?
• RQ5 태깅 및 임베딩 프레임워크가 다양한 악성코드 분석 도구와 탐지 시스템을 통합하는 데 공통이고 확장 가능한 기반으로 기능할 수 있는가?

주요 결과

• 모델은 평균적으로 각 악성코드 샘플에 대해 11개의 가능한 태그 기술자 중 10.52개를 정확히 예측하며, 태그당 거짓 양성률은 단지 1%에 불과하다.
• 공동 임베딩 모델은 원본 1024차원 특징 벡터를 사용하는 것보다 원-샷 악성코드 패밀리 식별 정확도를 30% 이상 향상시키며, 단일 앵커 샘플로 47%의 정확도를 달성한다.
• 학습된 유사도 메트릭은 원본 특징 표현보다 32배 작아서, 대규모 악성코드 코퍼스의 효율적 색인 및 쿼리가 가능하다.
• 원본 특징보다 임베딩 공간을 활용한 유사도 검색이 더 효과적이며, 특히 한 패밀리의 알려진 샘플 수가 적을 경우 두드러진다.
• 멀티헤드 네트워크 변형 대비 임베딩 공간에서 유도된 유사도 색인은 더 나은 일반화 능력과 군집화 성능을 보이며, 성능이 뛰어나다.
• 시스템은 소수 샘플 학습에서 뛰어난 성능을 보이며, 최소한의 사전 예시만으로도 새로운 악성코드 캠페인을 효과적으로 식별하는 데 매우 적합하다.