[논문 리뷰] Anomaly Detection in Cybersecurity: Unsupervised, Graph-Based and Supervised Learning Methods in Adversarial Environments.

David Bierbrauer, Alexander Chang외 2명|arXiv (Cornell University)|2021. 05. 14.

Network Security and Intrusion Detection참고 문헌 17인용 수 5

한 줄 요약

이 논문은 악성 사이버보안 환경에서의 이상 탐지에 적합한 이중 수준의 지도 학습 스태킹 앙상블 모델을 제안한다. 이 모델은 세 개의 기본 분류기와 메타-분류기(Naive Bayes 또는 결정 트리)를 조합한다. 이 방법은 악성 샘플의 F1-스코어가 0.97를 초과하며, 높은 강건성을 유지한다. 특히 결정 트리 메타-분류기의 경우 AUC가 0.98에 도달한다.

ABSTRACT

Machine learning for anomaly detection has become a widely researched field in cybersecurity. Inherent to today's operating environment is the practice of adversarial machine learning, which attempts to circumvent machine learning models. In this work, we examine the feasibility of unsupervised learning and graph-based methods for anomaly detection in the network intrusion detection system setting, as well as leverage an ensemble approach to supervised learning of the anomaly detection problem. We incorporate a realistic adversarial training mechanism when training our supervised models to enable strong classification performance in adversarial environments. Our results indicate that the unsupervised and graph-based methods were outperformed in detecting anomalies (malicious activity) by the supervised stacking ensemble method with two levels. This model consists of three different classifiers in the first level, followed by either a Naive Bayes or Decision Tree classifier for the second level. We see that our model maintains an F1-score above 0.97 for malicious samples across all tested level two classifiers. Notably, Naive Bayes is the fastest level two classifier averaging 1.12 seconds while Decision Tree maintains the highest AUC score of 0.98.

연구 동기 및 목표

• 비지도 및 그래프 기반 이상 탐지 방법이 적대적 네트워크 침입 탐지 환경에서 어떻게 작용하는지 평가하는 것.
• 적대적 조건 하에서도 분류 성능을 향상시키는 지도 학습 스태킹 앙상블 모델을 설계하고 구현하는 것.
• 도망 공격에 대한 강건성을 향상시키기 위해 현실적인 적대적 훈련 메커니즘을 통합하는 것.
• 다양한 메타-분류기의 성능을 비교하여 F1-스코어, AUC 및 추론 속도에 중점을 두는 것.

제안 방법

• 제안된 방법은 이중 수준 스태킹 앙상블을 사용한다: 첫 번째 레벨에 세 개의 기본 분류기, 두 번째 레벨에 메타-분류기(Naive Bayes 또는 결정 트리)를 배치한다.
• 적대적 훈련은 지도 학습 모델 훈련 단계 동안 통합되어 잠재적인 도망 공격를 시뮬레이션하고 이를 방어한다.
• 메타-분류기의 입력 특징으로 첫 번째 레벨의 분류기 예측 결과를 활용하여 최종 이상 탐지 성능을 향상시킨다.
• 다양한 기본 모델을 조합하는 앙상블 접근법을 통해 악성 네트워크 활동 탐지에서 일반화 및 강건성을 향상시킨다.
• 성능 평가에는 F1-스코어와 AUC를 사용하며, 추론 속도 측정을 위해 실행 시간도 기록한다.
• 모델은 현실적인 적대적 조건 하에서 네트워크 침입 탐지 시스템 환경에서 테스트된다.

실험 결과

연구 질문

• RQ1 비지도 및 그래프 기반 이상 탐지 방법은 적대적 네트워크 침입 탐지 환경에서 지도 학습 앙상블 모델에 비해 어떻게 비교되는가?
• RQ2 적대적 훈련은 악성 네트워크 활동 탐지에서 지도 학습 모델의 강건성을 향상시킬 수 있는가?
• RQ3 다양한 메타-분류기(Naive Bayes 대비 결정 트리)는 스태킹 앙상블의 성능과 속도에 어떤 영향을 미치는가?
• RQ4 제안된 앙상블 모델은 적대적 환경에서 어떤 정도의 F1-스코어와 AUC를 달성할 수 있는가?
• RQ5 다양한 메타-분류기 간에 앙상블 모델의 추론 속도는 어떻게 비교되는가?

주요 결과

• 지도 학습 스태킹 앙상블 모델은 악성 네트워크 활동 탐지에서 비지도 및 그래프 기반 방법보다 뛰어난 성능을 보였다.
• 모든 테스트된 메타-분류기에서 악성 샘플의 F1-스코어가 0.97를 초과하는 것으로 유지되었다.
• Naive Bayes 메타-분류기는 가장 빠른 추론 시간을 기록하여 평균 1.12초를 기록했다.
• 결정 트리 메타-분류기는 가장 높은 AUC 스코어 0.98를 달성했다.
• 지도 학습 단계 동안 통합된 적대적 훈련 덕분에 앙상블 모델은 강력한 강건성을 확보했다.
• 결과는 앙상블 학습에 적대적 훈련을 통합할 경우 적대적 사이버보안 환경에서 탐지 성능이 크게 향상됨을 확인한다.