[논문 리뷰] Exploring Backdoor Poisoning Attacks Against Malware Classifiers

Giorgio Severi, Jim Meyer외 2명|arXiv (Cornell University)|2020. 03. 02.

Adversarial Robustness in Machine Learning인용 수 15

한 줄 요약

이 논문은 레이블링을 제어할 수 없는 상황에서도, 설명 가능한 AI를 활용해 정상 레이블 워터마크를 위한 특징을 선별함으로써, 기계학습 기반 악성코드 분류기 대상 모델 무관(backdoor) 폭행 공격을 제안한다. 80만 개의 윈도우 바이너리로 구성된 데이터셋에서 단지 1%의 오염된 샘플로도 공격 성공률가 97% 이상을 달성한다.

ABSTRACT

Current training pipelines for machine learning (ML) based malware classification rely on crowdsourced threat feeds, exposing a natural attack injection point. We study for the first time the susceptibility of ML malware classifiers to backdoor poisoning attacks, specifically focusing on challenging clean label attacks where attackers do not control the sample labeling process. We propose the use of techniques from explainable machine learning to guide the selection of relevant features and their values to create a watermark in a model-agnostic fashion. Using a dataset of 800,000 Windows binaries, we demonstrate effective attacks against gradient boosting decision trees and a neural network model for malware classification under various constraints imposed on the attacker. For example, an attacker injecting just 1% poison samples in the training process can achieve a success rate greater than 97% by crafting a watermark of 8 features out of more than 2,300 available features. To demonstrate the feasibility of our backdoor attacks in practice, we create a watermarking utility for Windows PE files that preserves the binary's functionality. Finally, we experiment with potential defensive strategies and show the difficulties of completely defending against these powerful attacks, especially when the attacks blend in with the legitimate sample distribution.

연구 동기 및 목표

• 기계학습 기반 악성코드 분류기의 뒷통수 폭행 공격에 대한 취약성을 실질적인 제약 조건(예: 공격자가 레이블링을 제어할 수 없음) 하에서 조사한다.
• 설명 가능한 AI 기법을 활용해 주요 특징을 식별함으로써, 모델에 관계없이 뒷통수를 조작하는 방법을 개발한다.
• 기능성을 손상시키지 않은 채 실제 윈도우 PE 바이너리에 이러한 뒷통수를 구현할 수 있는지의 실현 가능성을 입증한다.
• 이러한 정교하고 정상 레이블 공격에 대비한 방어 전략의 효과성을 평가한다.

제안 방법

• 설명 가능한 AI 기법에서 도출된 특징 중요도 점수를 활용해, 워터마크를 구성할 수 있는 소수의 특징(예: 2,300개 중 8개)을 식별한다.
• 선택된 특징을 수정함으로써 오염 샘플에 뒷통수를 삽입하는 모델 무관 접근법을 적용하여, 모델이 이들을 악성으로 분류하지 않도록 유도한다.
• 워터마크 유틸리티를 활용해 특정 특징을 비파괴적으로 수정함으로써 윈도우 PE 파일을 수정하며, 바이너리 기능을 유지한다.
• 기울기 부스팅 결정 트리와 신경망을 오염된 데이터셋으로 훈련시켜, 다양한 오염 비율과 특징 제약 조건 하에서의 공격 성공률를 평가한다.
• 데이터 정제 및 이상 탐지와 같은 방어 전략을 평가하여, 이러한 정교하고 정상 레이블 공격에 대한 한계를 분석한다.

실험 결과

연구 질문

• RQ1 공격자가 레이블링을 제어할 수 없는 상황(즉, 정상 레이블 공격)에서 뒷통수 폭행 공격을 효과적으로 수행할 수 있는가?
• RQ2 설명 가능한 AI 기법을 활용해 정교한 뒷통수를 만들기 위해 최소한의 영향력 있는 특징 조합을 식별하는 데 얼마나 효과적인가?
• RQ3 낮은 오염 샘플 비율과 제한된 특징 조작 조건과 같은 실질적 제약 조건 하에서 이러한 뒷통수의 성공률는 어떠한가?
• RQ4 뒷통수 공격를 당한 바이너리가 기능적으로 그대로 유지되면서도 탐지에서 회피될 수 있는가? 실현 가능성을 보장하는가?
• RQ5 기존의 방어 수단이 이러한 정상 레이블 뒷통수 공격을 탐지하거나 완화하는 데 얼마나 효과적인가?

주요 결과

• 공격자는 훈련 데이터에 단지 1%의 오염 샘플을 삽입하기만 해도 뒷통수 성공률가 97%를 초과할 수 있다.
• 이 공격는 기울기 부스팅 결정 트리와 신경망 모델 모두에 성공적으로 적용되어 광범위한 적용 가능성을 보여준다.
• 2,300개 이상의 특징 중 단지 8개만으로도 효과적인 워터마크를 구성할 수 있었으며, 이는 설명 가능한 AI 기반 특징 선별의 정밀성을 입증한다.
• 제안된 워터마크 유틸리티는 기능성을 손상시키지 않은 채 윈도우 PE 파일을 성공적으로 수정하여 실현 가능성을 입증하였다.
• 데이터 정제 및 이상 탐지와 같은 방어 전략은 특히 뒷통수가 정상 데이터 분포와 자연스럽게 융합할 경우에 한하여 제한적인 효과를 보였다.