[논문 리뷰] Static Malware Detection & Subterfuge: Quantifying the Robustness of Machine Learning and Current Anti-Virus

William Fleshman, Edward Raff외 3명|arXiv (Cornell University)|2018. 06. 12.

Advanced Malware Detection Techniques참고 문헌 9인용 수 7

한 줄 요약

이 논문은 정적 악성코드 검출기의 회피 공격에 대한 기계학습(ML) 및 전통적인 악성코드 방지 소프트웨어(AV) 시스템의 강건성에 대해 정량적으로 평가할 수 있는 새로운 블랙박스 적대적 테스팅 방법론을 제안한다. 비파괴적 바이너리 수정, 패킹, 가시화 및 코드 삽입을 적용함으로써 저자들은 ML 기반 모델(n-gram 및 MalConv)이 분산된 바이너리 내 특징에서 일반화할 수 있는 능력 덕분에 AV 제품보다 훨씬 더 강건함을 입증한다. 다만, 고도로 발전된 가시화 및 새로운 유형의 공격에는 여전히 취약하다.

ABSTRACT

As machine-learning (ML) based systems for malware detection become more prevalent, it becomes necessary to quantify the benefits compared to the more traditional anti-virus (AV) systems widely used today. It is not practical to build an agreed upon test set to benchmark malware detection systems on pure classification performance. Instead we tackle the problem by creating a new testing methodology, where we evaluate the change in performance on a set of known benign & malicious files as adversarial modifications are performed. The change in performance combined with the evasion techniques then quantifies a system's robustness against that approach. Through these experiments we are able to show in a quantifiable way how purely ML based systems can be more robust than AV products at detecting malware that attempts evasion through modification, but may be slower to adapt in the face of significantly novel attacks.

연구 동기 및 목표

• 악성코드 검출 시스템을 비교하기 위한 표준화된 벤치마크의 부족을 해결하기 위해 새로운 평가 방법론을 제안하는 것.
• 기존의 회피 기법에 대해 ML 기반 악성코드 검출기와 상용 AV 제품 간의 강건성 수준을 정량화하는 것.
• 악성코드 바이너리에 대한 적대적 수정에 직면했을 때 ML 모델이 서명 기반 AV 시스템보다 더 잘 일반화하는지 조사하는 것.
• 현재의 회피 기법의 한계를 탐색하고, ML 모델이 새로운 또는 가시화된 악성코드를 탐지하는 데 있어 일반화 능력을 평가하는 것.

제안 방법

• Biggio 등이 제안한 적대자 모델 기반의 블랙박스 적대적 테스팅 프레임워크를 개발하여 목표, 지식 및 능력을 정의한다.
• 네 가지 회피 기법을 적용: 비파괴적 바이너리 수정, 적대적 가림(랜덤 바이트 마스킹), UPX를 사용한 패킹, ROP 삽입.
• 두 가지 ML 모델을 사용: 간단한 n-gram 모델과 원시 바이트 시퀀스 기반의 딥러닝 모델(MalConv).
• 테스트 프로토콜을 활용하여, 모델이 적대적 수정 전후로 알려진 양성 및 악성 파일을 평가함으로써 성능 저하를 측정한다.
• 각 회피 기법에 따른 성능 저하를 측정하여 강건성을 평가하고, 다양한 공격 유형에 대해 ML 모델과 AV 제품 간의 성능을 비교한다.
• 바이트 수준의 가림을 통해 특징 중요도를 탐사하고, ML 모델이 더 강건한 이유를 바이너리 전반에 산재한 특징 사용에 기인한다고 분석한다.

실험 결과

연구 질문

• RQ1 ML 기반 악성코드 검출기와 상용 AV 제품 간의 비파괴적 바이너리 수정에 대한 저항성은 어떻게 비교되는가?
• RQ2 적대적 가림 공격은 ML 모델과 AV 시스템 간의 특징 의존성 차이를 어느 정도 드러내는가?
• RQ3 패킹 및 ROP 삽입과 같은 코드 삽입 기법은 ML 기반 및 AV 기반 검출기 모두를 성공적으로 회피할 수 있는가? 그리고 그 성능는 어떻게 비교되는가?
• RQ4 ML 모델의 강건성이 가림 테스트에 의해 제안된 바와 같이 바이너리 전반에 산재한 특징 사용에서 기인하는가?
• RQ5 강건성 평가를 위해 사용된 회피 기법은 악성코드 검출 훈련 시 데이터 증강 목적으로 재사용될 수 있는가?

주요 결과

• 비파괴적 바이너리 수정에 노출되었을 때 ML 기반 모델(n-gram 및 MalConv)은 성능 저하가 최소화되어 상용 AV 제품보다 훨씬 더 높은 강건성을 보였다.
• 적대적 가림 테스트 결과, ML 모델은 바이너리 전반에 산재한 특징에 의존하므로 局부적인 변경에 덜 민감한 반면, AV는 특정이고 국소적인 서명에 의존하므로 국소적 변화에 더 취약한 것으로 드러났다.
• 상용 AV 제품은 몇 바이트를 변경하거나 랜덤 함수를 임포트하는 등의 단순한 수정으로 쉽게 회피되었으며, 이는 결정 경계가 취약함을 시사한다.
• UPX를 사용한 패킹과 ROP 삽입은 모든 시스템에 지속적인 도전 과제를 안겼지만, 특히 악성 코드 삽입을 탐지하는 데서 ML 모델이 AV보다 더 뛰어난 내성 강도를 보였다.
• 연구 결과, 적대적 예제(예: ROP 삽입 바이너리)를 사용한 훈련은 해당 공격 유형에 대한 탐지 능력을 향상시킬 수 있지만, 진정으로 새로운 악성코드 변종에 대한 일반화 능력을 손상시킬 수 있음을 발견했다.
• 제안된 블랙박스 적대적 테스팅 프레임워크는 도메인에 종속되지 않으며, PDF 등 다른 파일 형식이나 Linux, iOS 등의 운영체제로도 확장 가능하므로 정적 분석 시스템의 광범위한 평가를 가능하게 한다.