[논문 리뷰] Robustness Evaluation of Deep Unsupervised Learning Algorithms for Intrusion Detection Systems

D’Jeff K. Nkashama, Arian Soltani외 4명|arXiv (Cornell University)|2022. 06. 25.

Network Security and Intrusion Detection인용 수 7

한 줄 요약

이 논문은 침입 탐지 시스템에서 학습 데이터 오염에 대한 여섯 가지 최신 기술의 강건성(robustness)을 평가한다. 조작 공격 하에서 심지어 고도로 발전된 모델이라도 성능이 크게 떨어지는 것으로 나타나, 사이버보안 머신러닝 시스템에서 데이터 훼손에 대비한 자체 방어 메커니즘이 필수적임을 시사한다.

ABSTRACT

Recently, advances in deep learning have been observed in various fields, including computer vision, natural language processing, and cybersecurity. Machine learning (ML) has demonstrated its ability as a potential tool for anomaly detection-based intrusion detection systems to build secure computer networks. Increasingly, ML approaches are widely adopted than heuristic approaches for cybersecurity because they learn directly from data. Data is critical for the development of ML systems, and becomes potential targets for attackers. Basically, data poisoning or contamination is one of the most common techniques used to fool ML models through data. This paper evaluates the robustness of six recent deep learning algorithms for intrusion detection on contaminated data. Our experiments suggest that the state-of-the-art algorithms used in this study are sensitive to data contamination and reveal the importance of self-defense against data perturbation when developing novel models, especially for intrusion detection systems.

연구 동기 및 목표

• 침입 탐지 시스템에서 학습 데이터 오염에 대한 현대적 딥 비지도 학습 이상 탐지 모델의 강건성 평가.
• 다양한 유형과 수준의 공격 데이터 오염이 실제 네트워크 트래픽 데이터셋에서 모델 성능에 미치는 영향 조사.
• 기존 데이터셋(KDDCUP, NSL-KDD)과 최근 데이터셋(CSE-CIC-IDS2018) 간의 신뢰성 비교: 현재 사이버 위협 환경 반영 능력 평가.
• 백도어 및 회피 공격 맥락에서 데이터 조작에 대한 강건성을 부여하는 모델 설계 특성 규명.
• 침입 탐지 모델의 학습 파이프라인에 데이터 품질 검증 및 오염 탐지 기능 통합을 촉구함.

제안 방법

• CSE-CIC-IDS2018, KDDCUP, NSL-KDD 데이터셋에서 ALAD, 딥 오토에인코드어(DAE), DAGMM, DSEBM, DUAD, NeuTraLAD의 여섯 가지 딥 비지도 학습 이상 탐지 모델 평가.
• DDoS, DoS, Bot, SQL 인젝션 공격에 중점을 두고, 학습 세트에 악성 트래픽 샘플을 1%에서 5%까지 제어적으로 주입하여 데이터 조작 적용.
• 정상 및 공격 트래픽에 대한 F1 점수, 클래스별 정확도, 탐지율 등 표준 지표를 사용해 모델 성능 측정.
• 특정 공격 유형 하나만을 대상으로 학습 세트를 오염시켜 영향을 고립시키기 위해 분석 실험 수행.
• 오염로 인한 결론 경계 이동 및 데이터 분포 변화 분석을 위해 시각화 기법 사용.
• 노후된 데이터셋(KDDCUP, NSL-KDD)과 더 현실적이고 도전적인 CSE-CIC-IDS2018 데이터셋 간의 모델 행동 비교.

실험 결과

연구 질문

• RQ1 학습 데이터에 악성 네트워크 트래픽이 오염된 경우, 최신 딥 비지도 학습 이상 탐지 모델의 성능은 어떻게 되는가?
• RQ2 1%에서 5%까지 변동하는 오염 비율이 침입 탐지 모델의 F1 점수 및 탐지 정확도에 어떤 영향을 미치는가?
• RQ3 특정 공격 유형(예: DDoS, Bot, SQL 인젝션)에 의한 오염이 다양한 모델의 성능에 어떻게 다르게 영향을 미치는가?
• RQ4 KDDCUP 및 NSL-KDD와 같은 기존 데이터셋은 CSE-CIC-IDS2018와 같은 현대적 데이터셋에 비해 얼마나 실제 모델 강건성의 진실성을 반영하지 못하는가?
• RQ5 클러스터링 기반 재평가 기능을 갖춘 DUAD와 같은 모델 설계 특성(예: DUAD의 반복적 클러스터링 메커니즘)은 데이터 조작에 대해 어느 정도의 강건성을 제공하는가?

주요 결과

• DAE 및 DAGMM과 같은 최첨단 딥 비지도 학습 이상 탐지 모델이라도 악성 트래픽이 1%만 포함된 데이터셋으로 학습된 경우에도 성능 저하가 심각하게 나타남.
• 5%의 공격 데이터 오염으로 정상 트래픽 탐지율이 감소하고 가짜 경고가 증가했으며, 일부 공격(예: SQL 인젝션, 침입)은 전체 정확도가 낮음에도 불구하고 탐지율이 향상됨.
• Bot 공격 데이터 1% 오염으로 DAE 모델이 Bot 공격을 완전히 탐지하지 못해 악성 트래픽가 정상으로 잘못 분류되는 백도어 시나리오가 발생함.
• DoS 공격 데이터 1% 오염으로 DAE의 F1 점수가 63%에서 50%로 감소해, 최소한의 조작 공격에도 심각한 성능 저하가 발생함.
• DUAD는 데이터 공간과 잠재 공간에서 반복적 클러스터링 메커니즘 덕분에 상대적으로 강건성을 확보했으며, 학습 과정에서 오염 샘플을 식별하고 완화함.
• KDDCUP 및 NSL-KDD와 같은 기존 데이터셋은 현재의 사이버 위협 환경을 더 이상 반영하지 못하며, 이들 데이터셋에서 잘 작동하는 모델이 CSE-CIC-IDS2018 데이터셋에선 성능이 떨어지는 경우가 많음.