[논문 리뷰] Cyber Attack Detection thanks to Machine Learning Algorithms

Antoine Delplace, Sheryl Hermoso외 1명|arXiv (Cornell University)|2020. 01. 17.

Network Security and Intrusion Detection참고 문헌 23인용 수 10

한 줄 요약

이 논문은 NetFlow 데이터에서 22개의 특징을 추출하고, 지도 학습 알고리즘을 적용하여 네트워크 트래픽 내에서 봇넷을 탐지하기 위한 기계학습 기반 접근법을 제안한다. 랜덤 포레스트 분류기는 13개 시나리오 중 8개에서 95% 이상의 탐지 정확도를 달성하며, 부트스트래핑 데이터 증강 기법을 사용해 가장 도전적인 케이스에서는 55% 이상으로 향상된다.

ABSTRACT

Cybersecurity attacks are growing both in frequency and sophistication over the years. This increasing sophistication and complexity call for more advancement and continuous innovation in defensive strategies. Traditional methods of intrusion detection and deep packet inspection, while still largely used and recommended, are no longer sufficient to meet the demands of growing security threats. As computing power increases and cost drops, Machine Learning is seen as an alternative method or an additional mechanism to defend against malwares, botnets, and other attacks. This paper explores Machine Learning as a viable solution by examining its capabilities to classify malicious traffic in a network. First, a strong data analysis is performed resulting in 22 extracted features from the initial Netflow datasets. All these features are then compared with one another through a feature selection process. Then, our approach analyzes five different machine learning algorithms against NetFlow dataset containing common botnets. The Random Forest Classifier succeeds in detecting more than 95% of the botnets in 8 out of 13 scenarios and more than 55% in the most difficult datasets. Finally, insight is given to improve and generalize the results, especially through a bootstrapping technique.

연구 동기 및 목표

• 진화하는 봇넷을 탐지하는 데에 한계가 있는 기존의 서명 기반 및 행동 기반 침입 탐지 시스템의 문제점을 해결한다.
• NetFlow 데이터를 활용한 실시간 사이버 공격 탐지에 있어 확장 가능하고 프라이버시를 보존하는 대안으로 기계학습을 탐색한다.
• 특징 공학 및 데이터 증강을 통해 낮은 빈도로 나타나거나 복잡한 봇넷 행동에 대한 탐지 정확도를 향상시킨다.
• 다양한 기계학습 알고리즘을 비교하여 네트워크 트래픽 내 봇넷 탐지에 가장 효과적인 모델을 특정한다.
• 강력한 특징 선택 및 모델 튜닝을 통해 다양한 봇넷 유형과 네트워크 조건에서의 탐지 성능을 일반화한다.

제안 방법

• 시간 창 기반 집계를 사용하여 CTU-13 NetFlow 데이터셋에서 22개의 네트워크 특징을 추출하여 시간적 트래픽 패턴을 포착한다.
• 필터, 워퍼, 임베디드 특징 선택 기법을 적용하여 봇넷 탐지에 가장 분류 능력이 뛰어난 특징을 식별한다.
• 로지스틱 회귀, 서포트 벡터 머신, 랜덤 포레스트, 그래디언트 부스팅, 밀집 신경망의 다섯 가지 지도 학습 모델을 훈련하고 평가한다.
• 어려운 시나리오에서 부족한 표본을 가진 훈련 데이터를 개선하기 위해 부트스트래핑을 사용하여 모델 일반화 및 탐지율을 향상시킨다.
• 50개의 무작위 테스트 분할에 걸쳐 통계 분석을 수행하여 낮은 데이터 환경에서의 모델 안정성과 신뢰성을 검증한다.
• 정밀도, 재현율, F1 점수를 사용하여 탐지 성능과 임의의 양성 반응 비율 간의 균형을 평가한다.

실험 결과

연구 질문

• RQ1 기계학습 모델은 다양한 봇넷 유형에 걸쳐 높은 정밀도와 재현율을 기록할 수 있는가?
• RQ2 다양한 데이터 대표성과 복잡성 조건에서 서로 다른 기계학습 알고리즘의 봇넷 탐지 성능는 어떻게 비교되는가?
• RQ3 부트스트래핑을 통한 데이터 증강이 부족하거나 대표성이 떨어지는 봇넷 샘플이 있는 시나리오에서 탐지 성능을 얼마나 향상시킬 수 있는가?
• RQ4 NetFlow에서 추출한 어떤 네트워크 특징이 봇넷 활동에 가장 예측 가능하며, 이는 모델 성능에 어떻게 기여하는가?
• RQ5 비지도 학습 또는 대체 딥러닝 아키텍처(예: LSTM)는 가장 도전적인 탐지 시나리오에서 성능을 추가로 향상시킬 수 있는가?

주요 결과

• 랜덤 포레스트 분류기는 13개 테스트 시나리오 중 8개에서 봇넷 탐지에 F1 점수 95% 이상을 기록하여 다양한 봇넷 유형에 대해 강력한 일반화 능력을 보였다.
• 가장 도전적인 시나리오들(4, 5, 7, 11, 12)에서는 부트스트래핑 데이터 증강을 적용한 후에도 랜덤 포레스트가 F1 점수 55% 이상을 유지하여 탐지 성능을 유지를 하였다.
• 로지스틱 회귀 및 밀집 신경망 모델은 낮은 데이터 환경에서 성능이 열악했으며, Sogou 및 NSIS.ay와 같은 일부 봇넷의 경우 F1 점수 0.10 이하로 떨어졌다.
• 그래디언트 부스팅은 랜덤 포레스트와 유사한 성능을 보였으며, 특히 데이터 대표성이 높은 시나리오(예: Virut, F1 = 0.73)에서 뛰어난 성능을 보였다.
• 부트스트래핑 적용 후 시나리오 4의 F1 점수는 0.75로 상승했고, 시나리오 12는 0.54로 상승하여 어려운 케이스의 탐지 향상에 부분적인 성공을 거두었다.
• 50개의 무작위 테스트 분할에 걸친 통계 분석을 통해 모델 성능이 안정적이고 재현 가능함을 확인하여 결과의 신뢰성을 뒷받침하였다.