[논문 리뷰] MaskDGA: A Black-box Evasion Technique Against DGA Classifiers and Adversarial Defenses

Lior Sidi, Asaf Nadler외 1명|arXiv (Cornell University)|2019. 02. 24.

Adversarial Robustness in Machine Learning참고 문헌 42인용 수 25

한 줄 요약

MaskDGA는 DGA 분류기의 아키텍처나 파라미터를 알지 못해도 작동하는 블랙박스 적대적 회피 기법으로, 알고리즘적으로 생성된 도메인(AGD) 이름의 문자 수준 표현을 변형하여 최신 DGA 분류기를 회피한다. DMD-2018 데이터셋을 사용해 네 대의 DGA 분류기에서 F1-스코어를 0.977에서 0.495로 낮추며, 표준 모델과 적대적 방어 모델 모두에 대해 높은 효과성과 이식 가능성을 입증한다.

ABSTRACT

Domain generation algorithms (DGAs) are commonly used by botnets to generate domain names through which bots can establish a resilient communication channel with their command and control servers. Recent publications presented deep learning, character-level classifiers that are able to detect algorithmically generated domain (AGD) names with high accuracy, and correspondingly, significantly reduce the effectiveness of DGAs for botnet communication. In this paper we present MaskDGA, a practical adversarial learning technique that adds perturbation to the character-level representation of algorithmically generated domain names in order to evade DGA classifiers, without the attacker having any knowledge about the DGA classifier's architecture and parameters. MaskDGA was evaluated using the DMD-2018 dataset of AGD names and four recently published DGA classifiers, in which the average F1-score of the classifiers degrades from 0.977 to 0.495 when applying the evasion technique. An additional evaluation was conducted using the same classifiers but with adversarial defenses implemented: adversarial re-training and distillation. The results of this evaluation show that MaskDGA can be used for improving the robustness of the character-level DGA classifiers against adversarial attacks, but that ideally DGA classifiers should incorporate additional features alongside character-level features that are demonstrated in this study to be vulnerable to adversarial attacks.

연구 동기 및 목표

• 내부 아키텍처나 파라미터를 알지 못한 채 문자 수준 DGA 분류기를 효과적으로 회피할 수 있는 실용적인 블랙박스 회피 기법을 개발하는 것.
• 실제 운영 환경에서의 적용을 고려해 최신 DGA 분류기의 적대적 공격에 대한 강건성을 평가하는 것.
• 제안된 회피 기법에 대해 적대적 재학습과 지식 정복 기법 등의 적대적 방어 기법이 얼마나 효과적인지 평가하는 것.
• 문자 수준 특징과 문맥적 특징(예: DNS 트래픽, WHOIS)을 결합하면 적대적 공격에 대한 분류기의 강건성이 향상되는지 조사하는 것.
• DGA 탐지 외에도 사이버보안 분야의 다른 문자 수준 분류 과제, 예를 들어 피싱 URL 탐지나 악성코드 시그니처 회피에 이 기법이 일반화될 수 있는지 탐색하는 것.

제안 방법

• 대상 DGA 분류기의 행동을 모방하기 위해 공개된 AGD 데이터셋을 기반으로 대체 모델을 훈련한다.
• 대체 모델을 사용해 입력 문자 수준 표현의 역전파를 통한 기울기를 계산하여 적대적 예제를 생성한다.
• 오분류에 가장 큰 영향을 미치는 문자를 식별하기 위해 자코비안 산성지도(JSM)를 구성한다.
• 각 AGD의 문자 중 JSM에서 기울기 값이 가장 높은 절반을 교체하여 고유한 도메인 생성을 보장하고 중복을 방지한다.
• 단일 순방향 및 역전파 단계를 통해 변형을 적용하여, 악성으로 오분류되는 적대적 도메인 이름을 생성한다.
• 네 대의 최신 DGA 분류기와 두 가지 적대적 방어 메커니즘(적대적 재학습 및 지식 정복)을 대상으로 기법을 평가한다.

실험 결과

연구 질문

• RQ1 내부 파rameter나 아키텍처를 알지 못한 채 블랙박스 적대적 회피 기법이 문자 수준 DGA 분류기를 효과적으로 회피할 수 있는가?
• RQ2 MaskDGA는 DMD-2018 데이터셋에서 최신 DGA 분류기의 성능을 얼마나 효과적으로 떨어뜨리는가?
• RQ3 적대적 재학습과 지식 정복과 같은 적대적 방어 기법이 MaskDGA의 효과성을 어느 정도 완화하는가?
• RQ4 기울기 기반 적대적 공격에 노출되었을 때 현재 DGA 분류기의 한계는 무엇인가?
• RQ5 MaskDGA는 피싱 탐지나 악성코드 서명 회피와 같은 다른 문자 수준 분류 과제로 일반화될 수 있는가?

주요 결과

• MaskDGA는 DMD-2018 데이터셋에서 네 대의 최신 DGA 분류기의 평균 F1-스코어를 0.977에서 0.495로 낮춰 탐지 성능이 급격히 떨어지는 것을 확인했다.
• 적대적 재학습은 DeepDGA 공격에 대한 강건성을 향상시켰지만, 비적대적 AGD 샘플에서는 성능이 저하되어 모델 강건성에 대한 상충 관계가 있음을 시사했다.
• 지식 정복은 타겟 오분류에 대해 효과적이지 않아 MaskDGA에서 사용된 특정 변형 전략에 대해 저항력이 낮음을 보여주었다.
• MaskDGA로 생성된 적대적 샘플을 기반으로 분류기를 재학습하면 평균 강건성이 향상되었지만, DeepDGA와 같은 다른 공격에는 완전히 방어하지 못했다.
• 이 연구는 문자 수준 DGA 분류기가 기울기 기반 적대적 공격에 취약함을 확인했으며, 다중 모odal 특징 통합의 필요성을 강조한다.
• 기존 도메인의 고유성을 유지하기 위해 문자의 절반만 교체하고 중복을 방지함으로써, 탐지되지 않은 채 대규모 봇넷 통신이 가능하다.