[논문 리뷰] Improving Botnet Detection with Recurrent Neural Network and Transfer Learning

Jeeyung Kim, Alex Sim외 3명|arXiv (Cornell University)|2021. 04. 26.

Network Security and Intrusion Detection참고 문헌 40인용 수 9

한 줄 요약

이 논문은 순차적 트래픽 패턴을 포착하고 레이블이 부여된 데이터에 대한 의존도를 줄이기 위해 전이 학습을 통합한 순환 변동 자동에코더(RVAE)를 제안한다. 이 방법은 전이 학습을 통해 91.8%의 진성 양성률(TPR)을 달성하였으며, 타겟 데이터만으로 훈련된 준감독형 RVAE(68.3% TPR)보다 유의하게 뛰어나, 레이블이 적은 조건에서도 이전에 본 바 없는 봇넷을 효과적으로 탐지함을 보여준다.

ABSTRACT

Botnet detection is a critical step in stopping the spread of botnets and preventing malicious activities. However, reliable detection is still a challenging task, due to a wide variety of botnets involving ever-increasing types of devices and attack vectors. Recent approaches employing machine learning (ML) showed improved performance than earlier ones, but these ML- based approaches still have significant limitations. For example, most ML approaches can not incorporate sequential pattern analysis techniques key to detect some classes of botnets. Another common shortcoming of ML-based approaches is the need to retrain neural networks in order to detect the evolving botnets; however, the training process is time-consuming and requires significant efforts to label the training data. For fast-evolving botnets, it might take too long to create sufficient training samples before the botnets have changed again. To address these challenges, we propose a novel botnet detection method, built upon Recurrent Variational Autoencoder (RVAE) that effectively captures sequential characteristics of botnet activities. In the experiment, this semi-supervised learning method achieves better detection accuracy than similar learning methods, especially on hard to detect classes. Additionally, we devise a transfer learning framework to learn from a well-curated source data set and transfer the knowledge to a target problem domain not seen before. Tests show that the true-positive rate (TPR) with transfer learning is higher than the RVAE semi-supervised learning method trained using the target data set (91.8% vs. 68.3%).

연구 동기 및 목표

• 다양한 프로토콜을 사용하고 기존 시그니처 기반 방법을 회피하는 진화하는 봇넷을 탐지하는 데 도전하는 것.
• 감독 학습의 한계를 극복하기 위해 봇넷 탐지에 있어 대규모이고 고비용인 레이블이 부여된 데이터셋에 대한 의존도를 줄이는 것.
• 순환 아키텍처를 사용해 네트워크 트래픽 내 순차적 및 주기적 패턴을 모델링함으로써 이상 탐지 성능을 향상시키는 것.
• 레이블이 부여된 소스 도메인 데이터를 활용해 타겟 도메인에서 레이블이 부족하거나 없을 경우에도 탐지 성능을 향상시키기 위한 전이 학습 프레임워크를 개발하는 것.
• 반감독 및 전이 학습 기반 접근법을 통해 실시간으로 이전에 본 바 없는 봇넷 변종을 강력하게 탐지할 수 있도록 하는 것.

제안 방법

• 순차적 네트워크 트래픽 패턴을 모델링하기 위해 순환 변동 자동에코더(RVAE)를 제안하여 봇넷 행동 내 시간적 의존성을 포착한다.
• 레이블이 부여된 악성 트래픽 데이터에 대한 의존도를 최소화하기 위해 정상 트래픽 샘플만을 사용한 준감독 학습을 수행한다.
• 사전 훈련된 모델을 레이블이 부여된 소스 데이터셋(예: CTU-13)에서 학습한 후, 레이블이 없는 타겟 데이터에 대해 미세조정하는 전이 학습 프레임워크를 구현한다.
• 재구성 오차와 확률 밀도 함수(PDF) 비교를 통해 이상을 식별하고, 학습된 분포 기반 임계값을 설정한다.
• 훈련 데이터 분포의 균형을 유지하고 탐지 성능을 최적화하기 위해 동적 샘플링 전략($r_s$)을 적용한다.
• 표준 평가 지표인 진성 양성률(TPR), 위성 양성률(FPR), ROC 곡선 아래 면적(AUROC)을 사용해 성능을 평가한다.

실험 결과

연구 질문

• RQ1 순환 신경망 아키텍처가 비순차적 모델보다 봇넷 트래픽 내 순차적 패턴을 효과적으로 모델링하여 탐지 성능을 향상시킬 수 있는가?
• RQ2 제안된 RVAE 기반 준감독 방법은 기존 기계학습 모델에 비해 이전에 본 바 없는 봇넷 변종을 탐지하는 데 얼마나 효과적인가?
• RQ3 타겟 도메인에서 레이블이 희박하거나 존재하지 않을 경우 전이 학습이 탐지 성능 향상에 얼마나 기여하는가?
• RQ4 훈련 세트 내 레이블이 부여된 샘플 비율($r_s$)이 준감독 이상 탐지 방법의 성능에 어떤 영향을 미치는가?
• RQ5 전이 학습 프레임워크는 다양한 네트워크 모니터링 데이터 분포 간에서 일반화되어 새로운 봇넷 행동을 효과적으로 탐지할 수 있는가?

주요 결과

• RVAE 모델은 CTU-13 데이터셋에서 AUROC 0.979를 달성하여 MLP-VAE(AUROC 0.963)를 능가하며, 순차적 패턴 모델링의 우수성을 입증한다.
• 전이 학습은 타겟 도메인에서의 미리보지 않은 데이터에 대해 91.8%의 진성 양성률(TPR)을 달성하였으며, 이는 타겟 데이터만으로 훈련된 RVAE의 68.3% TPR보다 뚜렷이 높은 성능을 보였다.
• 순차적 모델링 능력 덕분에 혼합 프로토콜(예: IRC, P2P, HTTP)을 사용하는 이전에 본 바 없는 봇넷 변종도 효과적으로 탐지할 수 있었다.
• 저비율 샘플링($r_s$ = 5%)에서 최적의 성능이 관찰되었으며, 이는 재구성 오차 분포의 편향을 최소화하고 위성 양성률을 감소시켰다.
• 전이 학습 프레임워크는 레이블이 부족한 환경에서도 효과적인 탐지를 가능하게 하여, 실제 환경에서 봇넷 샘플이 희귀한 상황에서도 적용 가능함을 보여준다.
• 다양한 봇넷 행동, 특히 전용 프로토콜을 사용하는 경우에도 이 접근법은 강건성을 유지하지만, FPR은 상대적 약점으로 남아 향후 개선이 필요하다.