[논문 리뷰] Generating Practical Adversarial Network Traffic Flows Using NIDSGAN

Bolor-Erdene Zolbayar, Ryan Sheatsley외 5명|arXiv (Cornell University)|2022. 03. 13.

Adversarial Robustness in Machine Learning인용 수 6

한 줄 요약

이 논문은 기계학습 기반 네트워크 침입 탐지 시스템(NIDS)을 회피하는 현실적인 악성 네트워크 트래픽 플로우를 생성하는 GAN 기반 방법인 NIDSGAN을 제안한다. 제한된 액세스 조건 하에서 블랙박스 및 제한된 블랙박스 설정에서 도메인 특화 제약 조건을 적용함으로써, NIDSGAN은 각각 화이트박스, 블랙박스, 제한된 블랙박스 위협 모델에서 DNN 기반 NIDS에 대해 99%, 85%, 70%의 회피 성공률를 달성한다.

ABSTRACT

Network intrusion detection systems (NIDS) are an essential defense for computer networks and the hosts within them. Machine learning (ML) nowadays predominantly serves as the basis for NIDS decision making, where models are tuned to reduce false alarms, increase detection rates, and detect known and unknown attacks. At the same time, ML models have been found to be vulnerable to adversarial examples that undermine the downstream task. In this work, we ask the practical question of whether real-world ML-based NIDS can be circumvented by crafted adversarial flows, and if so, how can they be created. We develop the generative adversarial network (GAN)-based attack algorithm NIDSGAN and evaluate its effectiveness against realistic ML-based NIDS. Two main challenges arise for generating adversarial network traffic flows: (1) the network features must obey the constraints of the domain (i.e., represent realistic network behavior), and (2) the adversary must learn the decision behavior of the target NIDS without knowing its model internals (e.g., architecture and meta-parameters) and training data. Despite these challenges, the NIDSGAN algorithm generates highly realistic adversarial traffic flows that evade ML-based NIDS. We evaluate our attack algorithm against two state-of-the-art DNN-based NIDS in whitebox, blackbox, and restricted-blackbox threat models and achieve success rates which are on average 99%, 85%, and 70%, respectively. We also show that our attack algorithm can evade NIDS based on classical ML models including logistic regression, SVM, decision trees and KNNs, with a success rate of 70% on average. Our results demonstrate that deploying ML-based NIDS without careful defensive strategies against adversarial flows may (and arguably likely will) lead to future compromises.

연구 동기 및 목표

• 실제 기계학습 기반 NIDS가 조작된 악성 네트워크 트래픽 플로우에 의해 회피될 수 있는지 조사하기 위해.
• 네트워크 프로토콜 제약 조건과 현실적인 특성 분포를 준수하는 현실적인 악성 플로우를 생성하는 도전 과제를 해결하기 위해.
• 모델 내부 정보나 학습 데이터에 대한 액세스가 제한된 환경에서도 효과적인 공격 방법을 개발하기 위해.
• 다양한 NIDS 모델(딥 뉴럴 네트워크 및 전통적 기계학습 모델 포함) 간에 악성 플로우의 이동성(transferability)을 평가하기 위해.
• 활성 학습을 활용하여 요구되는 쿼리 수를 줄이면서도 높은 회피 성공률를 유지할 수 있는지 탐색하기 위해.

제안 방법

• NIDSGAN은 실제 정상 및 악성 트래픽의 분포를 학습함으로써 조건부 생성 적대적 신경망(cGAN)을 사용하여 악성 네트워크 트래픽 플로우를 생성한다.
• 생성된 플로우가 현실적이며 문법적으로 유효하도록 플로우 특성(예: 유효한 포트 범위, 프로토콜별 값)에 도메인 특화 제약 조건을 적용한다.
• 블랙박스 및 제한된 블랙박스 설정에서는, 생성된 악성 플로우에 대한 NIDS 응답을 소량 관측하여 국소 서피스 모델을 훈련한다.
• 활성 학습을 적용하여 타겟 NIDS에 쿼리할 가장 정보적인 악성 샘플을 반복적으로 선택함으로써, 더 적은 쿼리로도 국소 모델의 성능을 향상시킨다.
• 공격 프레임워크는 최소한의 변형 전략을 사용하여 실제 공격 플로우를 약간 수정함으로써 NIDS 예측을 '공격'에서 '정상'으로 전환시키며, 현실성은 유지한다.
• 생성자는 변형의 L2 노름을 최소화하면서 동시에 NIDS 회피 성공률를 최대화하도록 훈련되어, 도청성과 효과성을 모두 확보한다.

실험 결과

연구 질문

• RQ1 실제 위협 모델 조건 하에서 최신 DNN 기반 NIDS를 회피할 수 있는 현실적인 악성 네트워크 트래픽 플로우를 생성할 수 있는가?
• RQ2 모델 및 데이터 액세스가 제한된 조건에서 NIDSGAN 방법이 화이트박스, 블랙박스, 제한된 블랙박스 설정에서 얼마나 효과적인가?
• RQ3 NIDSGAN이 생성한 악성 플로우가 SVM, 로지스틱 회귀, 의사결정수형과 같은 전통적 기계학습 기반 NIDS로 이동하여 회피되는 정도는 어느 정도인가?
• RQ4 제한된 블랙박스 시나리오에서 활성 학습을 통해 타겟 NIDS에 대한 쿼리 수를 줄일 수 있는가? 이때도 높은 회피 성공률를 유지할 수 있는가?
• RQ5 네트워크 프로토콜의 현실성은 유지하면서 NIDS에 의해 감지되지 않는 악성 네트워크 트래픽을 생성하는 데 있어 핵심 제약 조건과 과제는 무엇인가?

주요 결과

• 화이트박스 위협 모델에서 NIDSGAN은 DNN 기반 NIDS에 대해 99%의 회피 성공률를 달성하여 모델 액세스가 완전한 조건에서 매우 효과적임을 입증한다.
• 모델 내부 정보나 학습 데이터가 전혀 제공되지 않는 블랙박스 위협 모델에서, NIDSGAN은 국소로 훈련된 서피스 모델을 활용하여 85%의 회피 성공률를 확보한다.
• 제한된 블랙박스 설정(쿼리 액세스가 제한된 현실적인 시나리오)에서 NIDSGAN은 활성 학습 덕분에 70%의 회피 성공률를 유지한다.
• NIDSGAN이 생성한 악성 플로우는 전통적 기계학습 기반 NIDS를 성공적으로 회피하며, SVM, 로지스틱 회귀, KNN, 의사결정수형 등의 모델 평균 70%의 회피 성공률를 기록한다.
• 이동성 실험 결과, AlertNet 및 DeepNet NIDS 모델을 회피하도록 제작된 악성 플로우는 CICIDS-2017 및 NSL-KDD 데이터셋에서 각각 70%와 61%의 성공률로 전통적 기계학습 기반 NIDS를 회피하는 것으로 나타났다.
• 이 연구는 최소한의 쿼리 액세스와 제약된 특성 공간 조건 하에서도 현실적이며 현대 NIDS를 효과적으로 회피할 수 있는 악성 플로우를 생성할 수 있음을 입증한다.