[논문 리뷰] MERLIN -- Malware Evasion with Reinforcement LearnINg

Tony Quertier, Benjamin Marais외 2명|arXiv (Cornell University)|2022. 03. 24.

Advanced Malware Detection Techniques인용 수 8

한 줄 요약

이 논문은 DQN과 REINFORCE를 사용하는 강화학습 기반 프레임워크인 MERLIN을 제안한다. 이는 Windows PE 파일에 의미적 유지가 보장되는 수정을 통해 기계학습 기반 악성코드 탐지기(MalConv, EMBER)와 상용 방화벽을 회피하는 데 목적이 있다. REINFORCE는 최신 모델에서 75% 이상의 높은 회피율을 달성하며, 상용 방화벽에서도 상당한 성공률을 보이며, 방어 강화를 돕기 위해 상세한 취약점 보고서를 생성한다.

ABSTRACT

In addition to signature-based and heuristics-based detection techniques, machine learning (ML) is widely used to generalize to new, never-before-seen malicious software (malware). However, it has been demonstrated that ML models can be fooled by tricking the classifier into returning the incorrect label. These studies, for instance, usually rely on a prediction score that is fragile to gradient-based attacks. In the context of a more realistic situation where an attacker has very little information about the outputs of a malware detection engine, modest evasion rates are achieved. In this paper, we propose a method using reinforcement learning with DQN and REINFORCE algorithms to challenge two state-of-the-art ML-based detection engines (MalConv \& EMBER) and a commercial AV classified by Gartner as a leader AV. Our method combines several actions, modifying a Windows portable execution (PE) file without breaking its functionalities. Our method also identifies which actions perform better and compiles a detailed vulnerability report to help mitigate the evasion. We demonstrate that REINFORCE achieves very good evasion rates even on a commercial AV with limited available information.

연구 동기 및 목표

• 최소한의 사전 지식으로 현대의 기계학습 기반 및 상용 악성코드 탐지 시스템을 자동으로 블랙박스로 회피할 수 있는 방법을 개발한다.
• 탐지 기준을 우회하면서도 악성 기능을 유지하는 효과적인 PE 파일 수정 방법을 식별하고 분석한다.
• 회피 성공 원인을 설명하고 탐지 엔진의 강화를 지원하는 실행 가능한 취약점 보고서를 생성한다.
• 다양한 강화학습 알고리즘(DQN 대비 REINFORCE)이 정보가 제한된 블랙박스 환경에서의 회피 시나리오에 얼마나 효과적인지 평가한다.
• 체계적인 대안적 테스트와 설명 가능한 회피 패tern을 통해 탐지 엔진의 구조적 취약점을 이해하는 데 통찰을 제공한다.

제안 방법

• 악성/양성 레이블만 반환하는 블랙박스 악성코드 탐지 API를 시뮬레이션하는 커스터마이징된 환경을 사용하는 강화학습 프레임워크를 구현한다.
• 모델 기울기나 내부 점수를 요구하지 않는 DQN과 REINFORCE 알고리즘을 사용해 PE 파일의 이진 수정 행동 시퀀스를 최적화한다.
• 기계 유형 수정, 유해하지 않은 라이브러리 추가, 타임스탬프 변경, 유해하지 않은 파일에서 가져온 문자열 삽입과 같은 의미 유지 수정을 적용한다.
• 수정된 바이너리가 원래 악성 기능을 유지하는지 검증함으로써 기능적 동등성을 유지한다.
• 모든 행동, 그 영향, 그리고 회피 성공에 기여한 바를 추적하는 상세한 취약점 보고서를 생성한다.
• 공격 과정의 진화와 행동의 효과성을 시각화해 해석 가능성과 방어 분석을 지원한다.

실험 결과

연구 질문

• RQ1 강화학습이 정보가 제한된 블랙박스 환경에서 최신 기계학습 기반 악성코드 탐지기(MalConv, EMBER)와 상용 방화벽을 효과적으로 회피할 수 있는가?
• RQ2 하드 레이블(benign/malicious)만 제공되는 조건에서 DQN과 REINFORCE는 회피 성공률과 내구성 측면에서 어떻게 비교되는가?
• RQ3 어떤 특정한 이진 수정 행동이 회피에 가장 효과적인가? 그리고 이러한 행동들이 탐지 기준을 우회하는 데 어떻게 기여하는가?
• RQ4 생성된 취약점 보고서가 탐지 엔진의 내구성을 향상시키기 위한 실행 가능한 통찰을 제공할 수 있는가?
• RQ5 행동의 순서가 회피에 얼마나 중요한가? 그리고 REINFORCE가 행동 시퀀스를 모델링하는 능력이 DQN의 개별 행동 중심 접근보다 우월한가?

주요 결과

• REINFORCE는 MalConv와 EMBER에서 75% 이상의 회피율을 달성하여 정보가 제한된 블랙박스 환경에서도 뛰어난 성능을 보였다.
• 상용 방화벽에서도 정보가 제한된 상황임에도 불구하고 REINFORCE는 상당한 회피 성공률을 기록했으며, DQN을 뛰어넘고 일부 경우 랜덤 검색보다도 뛰어난 성능을 보였다.
• DQN은 행동 시퀀스를 효과적으로 모델링하지 못해 상용 방화벽에서 성능이 열등했으며, 유일하게 최종 행동의 결과에 의존했다.
• '기계 유형 수정' 행동은 성공적인 회피 시퀀스에서 자주 사용되며, 이는 탐지 엔진에서 잠재적인 핵심 취약점일 수 있음을 시사한다.
• 취약점 보고서는 어떤 수정이 회피 성공에 기여했는지에 대한 상세하고 해석 가능한 통찰을 제공하여, 타겟팅된 방어 개선을 가능하게 한다.
• 이 프레임워크는 기능적으로 유지되면서도 탐지되지 않는 악성코드 변종을 성공적으로 생성했으며, 이는 향후 탐지 모델의 강화를 위한 재학습에 활용될 수 있다.