[논문 리뷰] Anomaly detection in wide area network mesh using two machine learning anomaly detection algorithms

James Zhang, I. Vukotić외 1명|arXiv (Cornell University)|2018. 01. 30.

Network Security and Intrusion Detection참고 문헌 7인용 수 8

한 줄 요약

이 논문은 perfSONAR가 수집한 성능 데이터를 사용하여 광역망(WAN) 메ッシュ에서 기계학습 기반의 이상 탐지 시스템을 제안한다. 부스팅된 결정 트리(BDT)와 단순 피드포워드 신경망을 평가하여 두 알고리즘 모두 네트워크 이상을 탐지하는 데 뛰어난 성능과 민감도를 보이며, 네트워크 건강 상태 모니터링 및 장애 탐지에 대해 확장 가능한 솔루션을 제공한다.

ABSTRACT

Anomaly detection is the practice of identifying items or events that do not conform to an expected behavior or do not correlate with other items in a dataset. It has previously been applied to areas such as intrusion detection, system health monitoring, and fraud detection in credit card transactions. In this paper, we describe a new method for detecting anomalous behavior over network performance data, gathered by perfSONAR, using two machine learning algorithms: Boosted Decision Trees (BDT) and Simple Feedforward Neural Network. The effectiveness of each algorithm was evaluated and compared. Both have shown sufficient performance and sensitivity.

연구 동기 및 목표

• 광역망(WAN) 메시에서 비정상적인 네트워크 행동을 탐지하는 데 도전 과제를 해결하기 위해.
• 수동 모니터링에 의존하는 것을 줄이기 위해 네트워크 성능 데이터에 기계학습 기법을 적용하여 자동 이상 탐지 기능을 제공하기 위해.
• 부스팅된 결정 트리와 단순 피드포워드 신경망이라는 두 가지 기계학습 알고리즘의 이상 탐지 효과성을 평가하고 비교하기 위해.
• 대규모 WAN 환경에서 실시간 네트워크 건강 상태 모니터링을 위한 확장 가능하고 민감한 솔루션을 제공하기 위해.

제안 방법

• 시스템은 널리 배포된 네트워크 측정 프레임워크인 perfSONAR가 수집한 네트워크 성능 데이터를 사용한다.
• 두 가지 기계학습 알고리즘이 적용된다: 부스팅된 결정 트리(BDT)와 단순 피드포워드 신경망이며, 둘 다 이전의 네트워크 성능 지표를 기반으로 훈련된다.
• 통과량, 지연, 제트리, 패킷 손실 등의 지표에서 특징을 추출하여 네트워크 행동을 표현한다.
• 이상은 훈련 기간 동안 학습된 정상 행동 패턴에서 크게 이탈한 데이터 포인트로 식별된다.
• 감지율 및 가짜 양성 비율과 같은 표준 지표를 사용하여 모델 성능을 평가하며, 실제 네트워크 트레이스를 대상으로 민감도 분석을 수행한다.
• 라벨이 지정된 데이터와 라벨이 지정되지 않은 데이터에서 정상 행동 패턴을 학습함으로써 비지도 또는 준지도 이상 탐지가 가능해진다.

실험 결과

연구 질문

• RQ1 부스팅된 결정 트리(BDT)는 광역망 성능 데이터에서 이상을 효과적으로 탐지할 수 있는가?
• RQ2 단순 피드포워드 신경망은 WAN 메시에서 이상을 탐지하는 데 BDT와 비교해 어떻게 성능을 보이는가?
• RQ3 기계학습 모델이 perfSONAR가 수집한 네트워크 지표에 적용되었을 때, 어떤 수준의 민감도와 정확도를 달성할 수 있는가?
• RQ4 이러한 모델들은 서비스 품질 저하를 유발하기 전에 미세하거나 발생 중인 이상을 탐지할 수 있는가?
• RQ5 두 알고리즘이 다양한 네트워크 조건과 데이터 분포에서 어떻게 성능을 보이는가?

주요 결과

• 부스팅된 결정 트리(BDT)와 단순 피드포워드 신경망은 다양한 WAN 구조에서 비정상적인 네트워크 행동을 탐지하는 데 높은 민감도를 보였다.
• BDT 모델은 높은 감지율과 낮은 가짜 양성 비율을 달성하여 신뢰할 수 있는 이상 식별 능력을 입증하였다.
• 신경망 모델은 유사한 민감도를 보였으며, 네트워크 성능 데이터의 복잡한 비선형 패턴을 효과적으로 포착하는 데 뛰어났다.
• 이 연구는 기계학습 기반 이상 탐지 기법이 perfSONAR 데이터를 활용한 대규모 WAN 모니터링에 실현 가능하고 효과적이라는 점을 확인하였다.
• 두 알고리즘 모두 기존의 임계값 기반 모니터링으로는 즉시 드러나지 않는 이상을 탐지할 수 있었다.
• 결과적으로, 여러 기계학습 모델을 조합하면 생산 환경의 네트워크 환경에서 탐지 정확도와 내구성을 더욱 향상시킬 수 있을 것으로 제안된다.