[논문 리뷰] Semantic-preserving Reinforcement Learning Attack Against Graph Neural Networks for Malware Detection

Lan Zhang, Peng Liu외 2명|arXiv (Cornell University)|2020. 09. 11.

Advanced Malware Detection Techniques참고 문헌 53인용 수 4

한 줄 요약

이 논문은 블랙박스 그래프 신경망(GNN) 악성코드 검출기들을 회피하기 위해 제어 흐름 그래프(CFG)에 의미적 Nop를 삽입하여 의미를 유지하는 악성코드를 생성하는 강화학습 기반 공격을 제안한다. 이 방법은 RL 에이전트를 통해 최적의 기본 블록과 의미적 Nop를 자동으로 선택하여, 기준선 공격들보다 훨씬 높은 회피율을 달성한다.

ABSTRACT

As an increasing number of deep-learning-based malware scanners have been proposed, the existing evasion techniques, including code obfuscation and polymorphic malware, are found to be less effective. In this work, we propose a reinforcement learning-based semantics-preserving (i.e.functionality-preserving) attack against black-box GNNs (GraphNeural Networks) for malware detection. The key factor of adversarial malware generation via semantic Nops insertion is to select the appropriate semanticNopsand their corresponding basic blocks. The proposed attack uses reinforcement learning to automatically make these "how to select" decisions. To evaluate the attack, we have trained two kinds of GNNs with five types(i.e., Backdoor, Trojan-Downloader, Trojan-Ransom, Adware, and Worm) of Windows malware samples and various benign Windows programs. The evaluation results have shown that the proposed attack can achieve a significantly higher evasion rate than three baseline attacks, namely the semantics-preserving random instruction insertion attack, the semantics-preserving accumulative instruction insertion attack, and the semantics-preserving gradient-based instruction insertion attack.

연구 동기 및 목표

• 기존의 코드 오버클로저 기반 기법들이 효과가 떨어지는, 점점 더 효과적으로 진화하는 GNN 기반 악성코드 검출 모델에 대응하기 위해.
• 기능을 유지하면서도 GNN 기반 검출기들을 회피할 수 있는 의미 유지 공격을 개발하기 위해.
• 강화학습을 활용하여 어느 기본 블록과 의미적 Nop를 삽입할지에 대한 의사결정 과정을 자동화하기 위해.
• 윈도우 악성코드와 정상 프로그램에 기반한 블랙박스 GNN 모델에 대해 공격의 효과성을 평가하기 위해.
• 기존 코드 오버클로저 기법들과 악성 예외 생성을 통합하여 구현 오버헤드를 줄일 수 있는지 탐색하기 위해.

제안 방법

• 공격은 강화학습 에이전트를 사용하여 악성코드 샘플의 제어 흐름 그래프(CFG)에 의미적 Nop를 어디에, 어떤 식으로 삽입할지 결정한다.
• RL 에이전트는 GNN 기반 악성코드 검출기의 회피를 장려하면서도 프로그램 의미를 유지하도록 하는 보상 함수를 사용하여 훈련된다.
• 의미적 Nop는 CFG의 기본 블록에 삽입되어 프로그램의 기능을 변경하지 않으면서도 그래프 구조를 변경한다.
• 공격은 내부 가중치나 기울기 정보에 접근할 필요가 없는 블랙박스 환경에서 작동한다.
• 평가를 위해 윈도우 악성코드와 정상 프로그램에서 유도된 CFG에 기반한 두 가지 유형의 GNN 모델(GCN 및 GAT)을 훈련한다.
• 공격은 네 가지 기준선(무작위 삽입, 누적 삽입, 기울기 기반 삽입, 이진 다각화)과 비교 평가된다.

실험 결과

연구 질문

• RQ1 강화학습이 의미적 Nop와 그 삽입 위치를 자동으로 선택하는 데 효과적으로 활용될 수 있는가? 이는 GNN 기반 악성코드 검출기를 회피하기 위한 것이다.
• RQ2 제안된 의미 유지 공격은 기존의 기준선 방법들인 무작위 또는 기울기 기반 명령어 삽입과 비교해 어떤 수준의 회피율을 보이는가?
• RQ3 공격이 검출을 회피하면서도 악성코드의 기능을 어느 정도 유지하는가?
• RQ4 이 공격은 다른 GNN 기반 모델이나 명령어 또는 API 호출 시퀀스와 같은 순차적 데이터 표현에 적용될 수 있는가?

주요 결과

• 제안된 강화학습 기반 공격은 GCN 및 GAT 모델 양쪽에서 네 가지 기준선 공격보다 유의미하게 높은 회피율을 달성했다.
• 공격은 악성코드 샘플의 기능적 동작 방식을 변경하지 않은 채로 GNN 기반 악성코드 검출기를 성공적으로 회피했다.
• RL 에이전트는 타겟 모델의 기울기 정보나 화이트박스 액세스 없이도 최적의 삽입 전략을 자동으로 학습했다.
• 공격는 의미 유지 무작위 명령어 삽입 공격, 누적 명령어 삽입 공격, 기울기 기반 명령어 삽입 공격보다도 회피 성공률에서 뛰어난 성능을 보였다.
• 결과적으로, GNN 기반 악성코드 검출기가 기본 블록 수준에서 전략적인 Nop 삽입을 통한 의미 유지 공격에 취약하다는 게 입증되었다.