[논문 리뷰] What we learn from learning - Understanding capabilities and limitations of machine learning in botnet attacks

David Santana, Shan Suthaharan외 1명|arXiv (Cornell University)|2018. 05. 03.

Network Security and Intrusion Detection참고 문헌 14인용 수 7

한 줄 요약

이 논문은 실제 네트워크 플로우 데이터를 사용하여 랜덤 포레스트와 다층 퍼셉트론(MLP) 모델의 봇넷 공격 탐지 능력을 평가하며, 특히 윈도우 크기와 같은 특성 공 ing이 성능 향상에 크게 기여함을 입증한다. 라벨이 적은 데이터에서 랜덤 포레스트가 대부분의 시나리오에서 MLP를 능가하며, 각 공격 유형에 대해 핵심 특성의 축소된 세트를 사용할 경우 높은 정확도를 달성한다.

ABSTRACT

With a growing increase in botnet attacks, computer networks are constantly under threat from attacks that cripple cyber-infrastructure. Detecting these attacks in real-time proves to be a difficult and resource intensive task. One of the pertinent methods to detect such attacks is signature based detection using machine learning models. This paper explores the efficacy of these models at detecting botnet attacks, using data captured from large-scale network attacks. Our study provides a comprehensive overview of performance characteristics two machine learning models --- Random Forest and Multi-Layer Perceptron (Deep Learning) in such attack scenarios. Using Big Data analytics, the study explores the advantages, limitations, model/feature parameters, and overall performance of using machine learning in botnet attacks / communication. With insights gained from the analysis, this work recommends algorithms/models for specific attacks of botnets instead of a generalized model.

연구 동기 및 목표

• 실제 네트워크 트래픽을 사용하여 기계 학습 모델의 다양한 봇넷 공격 탐지 능력에 대한 실제 적용 가능성을 평가하기 위해.
• 다양한 봇넷 공격 유형(예: IRC, SPAM, DDoS)에 최적화된 모델 파라미터와 특성 세트를 특정하기 위해.
• 제한된 라벨 데이터와 실시간 처리와 같은 현실적 제약 조건 하에서 랜덤 포레스트와 다층 퍼셉트론(MLP) 모델의 성능을 비교하기 위해.
• 특성 중요도 분석을 통해 최소한의 고영향도 특성 세트를 식별하여 모델 복잡도를 줄이기 위해.
• 일반화된 모델에 의존하는 대신 특정 공격 유형에 맞춘 모델 권고를 제공하기 위해.

제안 방법

• 실제 봇넷 공격 7가지 시나리오의 넷플로우 기록을 사용하여 시간 시리즈 특성을 추출하고, 지도 학습에 활용하였다.
• 대규모 데이터셋에서 모델를 훈련하고 평가하기 위해 병렬 처리를 활용한 빅데이터 분석 기법을 적용하였다.
• 공격 트래픽 및 비공격 트래픽 모두에 대해 표준 성능 지표(정밀도, 재현도, F1-측정치)를 사용하였다.
• 모델 성능 최적화를 위해 초모수 및 특성 공간의 광범위한 탐색을 수행하였다.
• 각 공격 유형에 대해 최상위 예측 특성을 식별하기 위해 순열 중요도 기반의 특성 중요도 분석을 실시하였다.
• 모든 개인 식별 정보를 제거하고, 깊은 패킷 검사를 피하여 모델의 효율성과 개인정보 보호를 확보하였다.

실험 결과

연구 질문

• RQ1 실제 네트워크 플로우 데이터를 사용할 때, 랜덤 포레스트와 MLP 모델은 다양한 봇넷 공격 유형을 어떻게 비교하여 탐지하는가?
• RQ2 어떤 특성 세트와 집계 윈도우 크기가 특정 봇넷 공격 유형에 대해 가장 높은 탐지 정확도를 제공하는가?
• RQ3 특히 딥 러닝 모델의 경우, 모델 성능이 라벨 데이터의 가용성에 얼마나 의존하는가?
• RQ4 축소된 특성 세트는 모델 복잡도를 줄이면서도 높은 탐지 정확도를 유지할 수 있는가?
• RQ5 일반화된 모델은 여러 공격 유형에 대해 유의미한가, 아니면 공격 유형별 모델이 반드시 필요한가?

주요 결과

• 랜덤 포레스트는 다양한 봇넷 공격 유형에서 거의 완벽한 탐지 정확도를 달성하였으며, 대부분의 시나리오에서 MLP를 능가하였다.
• MLP 모델은 초모수 조정으로는 제한적인 성능 향상을 보였고, 라벨 데이터가 부족한 상황에서 심각하게 성능 저하를 겪었다.
• 특성 공 ing, 특히 윈도우 크기 선택이 모델 정확도에 가장 큰 영향을 미쳤으며, 최적의 윈도우 크기는 공격 유형에 따라 달라졌다.
• IRC 공격의 경우, 평균 연결 지속 시간과 목적지 IP의 엔트로피가 상위 특성으로 나타났다.
• SPAM 공격의 경우, 패킷 및 바이트 수의 표준편차가 가장 중요한 특성으로 확인되었다.
• DDoS 공격의 경우, 고포트 플로우 수(>1024)와 ICMP 플로우 수와 같은 특성이 핵심 지표로 작용하였다.
• 공격 유형별로 5~7개의 핵심 특성만으로도 높은 정확도의 탐지가 가능하여 모델 복잡도를 크게 줄일 수 있었다.