[논문 리뷰] Creating Valid Adversarial Examples of Malware

Matouš Kozák, Martin Jureček외 2명|arXiv (Cornell University)|2023. 06. 23.

Advanced Malware Detection TechniquesComputer Science인용 수 3

한 줄 요약

이 논문은 포트폴리오 실행 파일(PE) 수정을 사용하여 바이너리 수준에서 유효하고 기능을 유지하는 악성 소프트웨어 예시를 생성하기 위한 강화학습 기반 프레임워크를 제안한다. Proximal Policy Optimization(PPO)를 사용하여, 기울기 부스팅 결합 결정수기 분류기 대비 53.84%의 회피율과 MalConv 대비 11.41%의 회피율을 달성하였으며, 동일한 수정을 무작위로 적용했을 때 평균적으로 상위 악성코드 방지 엔진의 11.65%를 회피하였다.

ABSTRACT

Machine learning is becoming increasingly popular as a go-to approach for many tasks due to its world-class results. As a result, antivirus developers are incorporating machine learning models into their products. While these models improve malware detection capabilities, they also carry the disadvantage of being susceptible to adversarial attacks. Although this vulnerability has been demonstrated for many models in white-box settings, a black-box attack is more applicable in practice for the domain of malware detection. We present a generator of adversarial malware examples using reinforcement learning algorithms. The reinforcement learning agents utilize a set of functionality-preserving modifications, thus creating valid adversarial examples. Using the proximal policy optimization (PPO) algorithm, we achieved an evasion rate of 53.84% against the gradient-boosted decision tree (GBDT) model. The PPO agent previously trained against the GBDT classifier scored an evasion rate of 11.41% against the neural network-based classifier MalConv and an average evasion rate of 2.31% against top antivirus programs. Furthermore, we discovered that random application of our functionality-preserving portable executable modifications successfully evades leading antivirus engines, with an average evasion rate of 11.65%. These findings indicate that machine learning-based models used in malware detection systems are vulnerable to adversarial attacks and that better safeguards need to be taken to protect these systems.

연구 동기 및 목표

• 기계학습 기반 악성코드 탐지기들을 회피하는 기능성 유지 가능한 악성코드 예시를 생성하는 블랙박스 대비 공격 프레임워크를 개발하는 것.
• 검증된 바이너리 수정을 통해 생성된 대비 예시가 원본 악성코드의 기능을 유지하는지 보장하는 것.
• 다양한 분류기, 특히 실제 세계의 악성코드 방지 엔진에 대한 대비 예시의 이식성 평가.
• 훈련된 강화학습 에이전트와 동일한 수정을 무작위 적용한 전략 간의 회피 성능 비교.

제안 방법

• PE 바이너리 파일에서 강화학습 에이전트를 훈련하기 위한 맞춤형 OpenAI Gym 호환 환경 설계.
• 실행을 손상시키지 않으면서도 기능을 유지하는 12종의 PE 수정(예: NOP 삽입, 섹션 헤더 수정 등)을 구현.
• 회피율을 극대화하고 파일 크기 증가를 최소화하기 위해, γ=0.5 및 α=0.0001의 초모수를 사용한 Proximal Policy Optimization(PPO)를 사용해 에이전트 훈련.
• 수정 전후의 시스템 수준 행동을 비교하여 기능 유지 여부를 검증하기 위해 행동 비교 방법을 활용.
• 7,000개의 윈도우 악성코드 EXE 파일로 구성된 데이터셋을 사용해 에이전트를 훈련하고, GBDT, MalConv 및 상위 상용 악성코드 방지 엔진에 대한 회피 테스트 수행.
• 훈련된 PPO 에이전트를 동일한 수정을 적용하는 무작위 에이전트 및 기준으로 MAB-Malware 프레임워크와 비교.

실험 결과

연구 질문

• RQ1 강화학습 에이전트는 블랙박스 환경에서 머신러닝 기반 악성코드 탐지기들을 회피하는 유효하고 기능적인 대비 악성코드 예시를 생성할 수 있는가?
• RQ2 무작위 수정 전략에 비해 PPO 기반 에이전트는 기울기 부스팅 결합 결정수기(GBDT) 분류기의 회피 성능에서 얼마나 효과적인가?
• RQ3 대조 모델(GBDT)에 기반한 대비 예시가 실제 세계의 악성코드 방지 엔진으로의 이식성은 어떠한가?
• RQ4 동일한 기능 유지 수정을 무작위로 적용하는 것이 상용 AV를 회피하는 데 있어 훈련된 RL 에이전트보다 성능이 뛰어나게 되는가?
• RQ5 기존 프레임워크인 MAB-Malware와 비교해 본다면, 제안된 방법은 유효성과 회피 성능 측면에서 어떻게 다른가?

주요 결과

• PPO 에이전트는 GBDT 분류기 대비 53.84%의 회피율을 달성하였으며, 평균 파일 크기 증가율은 3.57%였다.
• PPO 에이전트는 신경망 기반의 MalConv 분류기 대비 11.41%의 회피율을 기록하였다.
• PPO 에이전트는 상위 상용 악성코드 방지 엔진 대비 평균 2.31%의 회피율을 달성하였다.
• 동일한 수정을 무작위로 적용한 무작위 에이전트의 상위 AV 평균 회피율은 11.65%였으며, PPO 에이전트 및 MAB-Malware를 모두 초월하였다.
• MAB-Malware 프레임워크는 GBDT(76.12% 회피율)와 MalConv(60.1% 회피율)에서 PPO 및 무작위 에이전트를 모두 초월했지만, AV 평균 회피율은 2.61%에 머물렀다.
• 본 연구에서는 GBDT를 대조 모델로 사용해 대비 예시를 생성하는 것이 실제 세계의 AV에 대해 효과적인 회피를 이끌지 못함을 발견하였으며, 이는 더 나은 대조 모델이 필요함을 시사한다.