[논문 리뷰] ATMPA: Attacking Machine Learning-based Malware Visualization Detection Methods via Adversarial Examples

Xinbo Liu, Jiliang Zhang외 2명|arXiv (Cornell University)|2018. 08. 05.

Advanced Malware Detection Techniques참고 문헌 42인용 수 6

한 줄 요약

이 논문은 바이너리-이미지 변환된 악성코드 샘플에 작은, 타겟된 변형을 적용하여 기계학습 기반 악성코드 시각화 검출기의 탐지 회피를 목적으로 하는 새로운 대안적 공격 프레임워크 ATMPA를 제안한다. FGSM와 L-노름 최적화(C&W)를 기반으로 한 기울기 기반 방법을 사용하여 MS BIG 데이터셋에서 CNN, SVM, RF 기반 검출기 전반에 걸쳐 100% 공격 성공률를 달성하였으며, 평균 이식성은 74.1%로, 기계학습 기반 악성코드 검출 시스템에 심각한 취약성을 드러냈다.

ABSTRACT

Since the threat of malicious software (malware) has become increasingly serious, automatic malware detection techniques have received increasing attention, where machine learning (ML)-based visualization detection methods become more and more popular. In this paper, we demonstrate that the state-of-the-art ML-based visualization detection methods are vulnerable to Adversarial Example (AE) attacks. We develop a novel Adversarial Texture Malware Perturbation Attack (ATMPA) method based on the gradient descent and L-norm optimization method, where attackers can introduce some tiny perturbations on the transformed dataset such that ML-based malware detection methods will completely fail. The experimental results on the MS BIG malware dataset show that a small interference can reduce the accuracy rate down to 0% for several ML-based detection methods, and the rate of transferability is 74.1% on average.

연구 동기 및 목표

• 기계학습 기반 악성코드 시각화 검출 방법이 대안적 예외에 대해 보이는 보안 취약성을 조사하는 것.
• 이미지로 변환된 악성코드 데이터셋에 대해 대안적 변형을 생성하여 탐지를 회피하는 새로운 공격 프레임워크 ATMPA를 개발하는 것.
• CNN, SVM, 랜덤 포레스트를 포함한 다양한 기계학습 기반 악성코드 검출기 간의 대안적 예외의 효과성과 이식성을 평가하는 것.
• 특히 계층적 구조 대비 선형 구조의 차이와 관련하여 다양한 기계학습 모델이 대안적 공격에 얼마나 민감한지 분석하는 것.
• 대안적 노이즈 패턴과 모델 아키텍처의 취약성에 대한 분석을 통해 방어 전략에 대한 통찰을 제공하는 것.

제안 방법

• ATMPA는 악성코드 바이너리의 회색조 이미지 표현을 대상으로 기울기 기반의 빠른 기울기 부호 방법(FGSM)과 카를리니 및 웨이거(C&W)의 L-노름 최적화 공격을 사용하여 대안적 예외를 생성한다.
• 이 방법은 기울기 하강법을 적용하여 오분류를 극대화하고 시각적 변화를 최소화하는 변형을 계산하며, 변형 크기를 제어하기 위해 L2 노름을 사용한다.
• MS BIG 데이터셋의 악성코드 바이너리는 시각적 표현과 기계학습 기반 분류를 가능하게 하기 위해 회색조 텍스처 이미지로 변환된다.
• 공격는 작은, 인식하기 어려운 변형을 도입하여 훈련된 검출기의 결정 경계를 공격함으로써 오분류를 유도한다.
• 프레임워크는 한 모델에서 대안적 예외를 생성하고 다른 아키텍처를 가진 다른 모델에서의 성공률을 테스트하여 이식성을 평가한다.
• 신경망에서 방정식 기반 활성화 함수를 사용하여 학습 중 대안적 예외 생성의 강건성을 향상시킨다.

실험 결과

연구 질문

• RQ1 기계학습 기반 악성코드 시각화 검출기가 바이너리 코드의 이미지 표현에 의존할 경우, 대안적 예외를 효과적으로 생성할 수 있는가?
• RQ2 ATMPA 공격는 CNN, SVM, 랜덤 포레스트와 같은 다양한 기계학습 모델에서 탐지 정확도를 얼마나 효과적으로 낮출 수 있는가?
• RQ3 ATMPA가 생성한 대안적 예외는 아키텍처가 다른 다양한 악성코드 검출 모델 간에 얼마나 이식 가능한가?
• RQ4 왜 계층적 모델인 CNN과 RF는 선형 모델인 SVM보다 대안적 공격에 더 취약한가?
• RQ5 대안적 변형의 구조적 및 분포적 특성 분석을 통해 어떤 방어 전략을 도출할 수 있는가?

주요 결과

• ATMPA는 MS BIG 악성코드 데이터셋에 적용되었을 때, CNN, SVM, 랜덤 포레스트 기반의 모든 테스트된 기계학습 기반 악성코드 검출기에서 100%의 공격 성공률를 기록하였다.
• 다양한 모델 간 대안적 예외의 평균 이식성은 74.1%였으며, 최고 이식성은 CNN에서 RF로의 88.7%였다.
• 계층적 특징 추출 구조를 공유하는 CNN 및 RF 기반 검출기에서는 더 높은 이식성(예: CNN에서 RF로의 86.3%)을 보였으며, 선형 모델인 SVM과 비교해 이식성이 떨어졌다.
• SVM 기반 검출기는 동일한 대안적 변형에 대해 더 높은 내성성을 보였으며, 이는 선형 모델이 이와 같은 공격 유형에 덜 취약하다는 것을 시사한다.
• 대안적 예외 생성 과정 중 기울기 손실가 두 자리 수 감소하여 공격 과정의 수렴성과 최적화 방법의 효과성을 확인하였다.
• 연구 결과 기계학습 기반 악성코드 시각화 검출기는 특히 계층적 특징 학습을 수행하는 딥 네트워크를 사용할 경우 근본적으로 대안적 공격에 취약하다는 것이 드러났다.