[논문 리뷰] Outlier detection on network flow analysis

Quang-Vinh Dang|arXiv (Cornell University)|2018. 08. 06.

Anomaly Detection Techniques and Applications참고 문헌 1인용 수 9

한 줄 요약

이 논문은 레이블이 불균형한 실세계 데이터셋을 사용하여 네트워크 트래픽에서 DDoS 공격을 식별하기 위한 비지도 이상치 탐지 알고리즘을 평가한다. Isolation Forest와 PCA 기반 방법이 다른 알고리즘보다 뛰어나며, 특히 낮은 이상치 비율에서 강력한 AUC와 정확도를 보이며, 레이블이 없는 학습 데이터로도 성능을 유지를 한다.

ABSTRACT

It is important to be able to detect and classify malicious network traffic flows such as DDoS attacks from benign flows. Normally the task is performed by using supervised classification algorithms. In this paper we analyze the usage of outlier detection algorithms for the network traffic classification problem.

연구 동기 및 목표

• 레이블이 없는 학습 데이터에 의존하지 않고도 비지도 이상치 탐지 알고리즘의 효과성을 평가하는 것.
• 특히 새로운 공격 유형에 대한 일반화 능력이 떨어지고 클래스 불균형에 민감한 감독 분류 방법의 한계를 해결하는 것.
• 악성 및 정상 네트워크 플로우 간 비율이 다양할 경우, 특히 극단적인 불균형(예: 1:1000) 상황에서도 성능을 평가하는 것.
• 76개의 특성을 가진 실세계 네트워크 플로우 데이터와 기준 레이블을 사용해 여러 이상치 탐지 기법을 비교하는 것.
• 공격 트래픽 비율이 낮을 때도 높은 탐지 성능를 유지하는 알고리즘을 특정하는 것.

제안 방법

• CBLOF, HBOS, Isolation Forest (IForest), k-NN, MCD, OCSVM, 및 PCA를 포함한 7종의 비지도 이상치 탐지 알고리즘을 적용.
• 플로우 지속 시간, 패킷 수, 패킷 길이 통계 등의 특성을 포함한 464,976개 샘플과 76개의 특성을 가진 실세계 네트워크 플로우 데이터셋을 사용.
• 클래스 분포를 제어하기 위해 고유 기능을 사용해 정상 및 공격 플로우를 서브샘플링하여 공격 비율이 0.01%에서 99%까지 다양해지는 합성 데이터셋을 생성.
• 각 데이터셋을 70% 훈련 세트와 30% 테스트 세트로 분할하였으며, 샘플 간에 동일한 값이 존재하지 않도록 했다.
• AUC 및 정확도 점수를 사용해 성능을 평가하였으며, 훈련 세트와 테스트 세트 간 성능 비교를 통해 일반화 능력을 평가.
• 실세계에서 흔한 불균형 조건을 시뮬레이션하기 위해 정상 비율을 다양하게 설정해 결과를 보고.

실험 결과

연구 질문

• RQ1 데이터셋이 극도로 불균형할 경우 비지도 이상치 탐지 알고리즘이 DDoS 공격 탐지에 얼마나 잘 작동하는가?
• RQ2 네트워크 플로우 데이터에서 다양한 공격 비율에 걸쳐 가장 높은 AUC와 정확도를 달성하는 이상치 탐지 알고리즘은 무엇인가?
• RQ3 훈련 세트와 테스트 세트 간의 성능 비교를 통해 이상치 탐지 알고리즘의 일반화 능력은 어떻게 평가되는가?
• RQ4 레이블이 없는 예시를 훈련 시에 제공받지 않더라도 이상치 탐지 방법이 이전에 보지 못한 DDoS 공격 패턴을 탐지할 수 있는가?
• RQ5 악성 트래픽 비율(공격 비율)이 다양한 이상치 탐지 알고리즘의 탐지 성능에 어떤 영향을 미치는가?

주요 결과

• Isolation Forest (IForest)와 PCA 기반 이상치 탐지 방법이 모든 테스트 공격 비율에서 가장 높은 AUC 점수를 기록했으며, 특히 정상 트래픽 비율이 증가할수록 두드러진 성능을 보였다.
• IForest와 PCA의 AUC 점수는 낮은 공격 비율(예: 0.01%)에서도 여전히 높게 유지되어 극단적인 클래스 불균형 상황에서도 뛰어난 성능을 입증했다.
• 모든 알고리즘에서 정상 비율이 높아질수록 정확도 점수가 증가하여 클래스 불균형이 성능 지표에 미치는 영향을 확인했다.
• 모든 알고리즘에서 훈련 세트와 테스트 세트 간 성능이 매우 유사하여, 비지도 방법이 훈련 데이터에 과적합되지 않고 잘 일반화됨을 시사했다.
• 데이터셋에는 공격 샘플이 3.76% 포함되어 있었으며(464,976개 중 17,462개), 연구는 실세계 조건을 시뮬레이션하기 위해 비율을 0.01%에서 99%까지 평가했다.
• IForest와 PCA와 같은 이상치 탐지 방법은 공격 발생 빈도가 낮고 공격 패tern이 알려지지 않은 상황에서 전통적인 감독 분류기보다 뛰어난 성능을 보였다.