[논문 리뷰] On Designing Machine Learning Models for Malicious Network Traffic Classification

Talha Ongun, Timothy Sakharaov외 3명|arXiv (Cornell University)|2019. 07. 10.

Network Security and Intrusion Detection참고 문헌 11인용 수 18

한 줄 요약

이 논문은 브로 네트워크 로그에서 백신 감염 트래픽을 분류하기 위한 감독형 기계학습 모델 설계를 위한 실용적 지침을 제공한다. 악성 트래픽 분류에 있어 앙상블 모델(예: 기울기 부스팅)이 불균형 데이터에서 선형 모델보다 성능이 뛰어나며, 세밀한 레이블링이 특히 공격 유형에 특화된 표현을 위해 시간 창 기반 특징 집계와 조합될 경우 성능 향상에 기여함을 입증한다.

ABSTRACT

Machine learning (ML) started to become widely deployed in cyber security settings for shortening the detection cycle of cyber attacks. To date, most ML-based systems are either proprietary or make specific choices of feature representations and machine learning models. The success of these techniques is difficult to assess as public benchmark datasets are currently unavailable. In this paper, we provide concrete guidelines and recommendations for using supervised ML in cyber security. As a case study, we consider the problem of botnet detection from network traffic data. Among our findings we highlight that: (1) feature representations should take into consideration attack characteristics; (2) ensemble models are well-suited to handle class imbalance; (3) the granularity of ground truth plays an important role in the success of these methods.

연구 동기 및 목표

• 보안 분야에서 감독형 기계학습의 원칙적인 설계 지침이 부족한 문제를 해결하기 위해, 특히 네트워크 트래픽 분류에 초점을 맞춘다.
• 특징 표현, 모델 선택, 지도 학습의 정밀도가 악성코드 탐지 성능에 미치는 영향을 평가한다.
• 실제 사이버 방어 시스템에 기계학습을 구현하기 위한 실질적인 권고 사항을 제공한다.
• 앙상블 모델과 세밀한 레이블링이 불균형 데이터셋에서 봇넷 트래픽 탐지에 뚜렷한 성능 향상을 이끌어낸다는 것을 입증한다.

제안 방법

• 연구는 대학 네트워크에서의 실제 네트워크 트래픽과 봇넷 공격 로그를 포함한 CTU-13 공개 데이터셋을 사용한다.
• 특징 표현 방식으로는 브로 로그의 원본 연결 수준 특징, 고정된 시간 창(예: 30초) 내의 집계된 트래픽 통계, 시간적 특징이 포함된다.
• 평가된 분류기로는 로지스틱 회귀, 랜덤 포레스트, 기울기 부스팅이 있으며, 성능 평가는 정밀도, 재현도, F1 점수로 측정된다.
• 지도 학습의 정확도를 평가하기 위해 지도 학습의 정밀도를 둘로 나누어 비교한다: 굵은(공격 세션 전체)과 세밀한(개별 연결)
• 다양한 봇넷 유형(예: Neris, Rbot)에 대해 다양한 클래스 불균형 비율에서 실험을 수행한다.
• 랜덤 포레스트와 같은 트리 기반 모델의 특징 중요도 분석을 통해 모델의 해석 가능성 수준을 평가한다.

실험 결과

연구 질문

• RQ1 원본 연결 로그, 집계된 통계, 시간적 특징 등 다양한 특징 표현 방식이 봇넷 탐지 성능에 어떤 영향을 미치는가?
• RQ2 네트워크 트래픽 데이터에서 흔히 발생하는 극심한 클래스 불균형을 효과적으로 다룰 수 있는 기계학습 모델은 무엇인가?
• RQ3 지도 학습의 정확도 레이블링 정밀도(粗체 vs. 세밀)가 분류 지표에 어떤 영향을 미치는가?
• RQ4 공격 특성에 맞게 맞춤형 특징 공학을 적용하면 탐지 정확도가 향상되는가?
• RQ5 해석 가능한 모델이 기계학습 기반 경고를 분석하는 분석가의 조사 활동을 얼마나 잘 지원하는가?

주요 결과

• 기울기 부스팅 모델은 1:134의 클래스 불균형 비율에서 Neris 봇넷에 대해 0.97의 정밀도와 0.95의 재현도를 기록하여 로지스틱 회귀보다 뛰어난 성능을 보였다.
• 개별 네트워크 연결에 대한 세밀한 레이블링이 굵은 레이블링보다 분류 성능 향상에 크게 기여했으며, 특히 Rbot과 같은 복잡한 봇넷에 대해 뚜렷했다.
• 랜덤 포레스트 및 기울기 부스팅과 같은 앙상블 모델은 클래스 불균형을 효과적으로 처리했지만, 로지스틱 회귀와 같은 단순한 모델은 어려움을 겪었다.
• 특징의 시간 창 집계(예: 30초 창)가 탐지 성능 향상에 기여했으며, 특히 포트 기반 그룹화와 조합될 경우 더욱 유의미했다.
• 랜덤 포레스트 모델은 높은 패킷 수나 이국적인 포트 사용과 같은 핵심 특징을 식별함으로써 높은 해석 가능성을 제공했다.
• 특징 표현 방식의 선택은 공격 유형과 사용 가능한 학습 데이터에 따라 크게 달라지며, 높은 불균형 비율 상황에서는 더 작은 창 크기에서 더 나은 성능를 보였다.