[논문 리뷰] Botnet Detection Using Recurrent Variational Autoencoder

Jeeyung Kim, Alex Sim외 2명|arXiv (Cornell University)|2020. 04. 01.

Network Security and Intrusion Detection참고 문헌 29인용 수 7

한 줄 요약

이 논문은 네트워크 트래픽 플로우 데이터의 순차적 패턴을 모델링하여 온라인 실시간 봇넷 탐지용 순환 변동 자동에코더(RVAE)를 제안한다. 학습 중에 볼 수 없었던 봇넷 가족을 높은 정확도로 탐지하기 위해 학습된 확률 분포를 통해 이상치 점수를 부여함으로써, 다양한 봇넷 유형과 통신 프로토콜에 걸쳐 강력한 성능을 발휘하는 스트리밍 탐지가 가능하다.

ABSTRACT

Botnets are increasingly used by malicious actors, creating increasing threat to a large number of internet users. To address this growing danger, we propose to study methods to detect botnets, especially those that are hard to capture with the commonly used methods, such as the signature based ones and the existing anomaly-based ones. More specifically, we propose a novel machine learning based method, named Recurrent Variational Autoencoder (RVAE), for detecting botnets through sequential characteristics of network traffic flow data including attacks by botnets. We validate robustness of our method with the CTU-13 dataset, where we have chosen the testing dataset to have different types of botnets than those of training dataset. Tests show that RVAE is able to detect botnets with the same accuracy as the best known results published in literature. In addition, we propose an approach to assign anomaly score based on probability distributions, which allows us to detect botnets in streaming mode as the new networking statistics becomes available. This on-line detection capability would enable real-time detection of unknown botnets.

연구 동기 및 목표

• 기존 시그니처 기반 및 전통적 이상 탐지 방법이 변화하는, 사전에 볼 수 없었던 봇넷 가족을 탐지하지 못하는 한계를 해결하기 위해.
• 특히 스트리밍 모드에서 작동하는, 순차적이고 주기적인 트래픽 패턴을 통해 봇넷을 식별할 수 있는 기계학습 기반 이상 탐지 시스템을 개발하기 위해.
• 학습된 RVAE 모델에서 유도된 확률적 복원 오차 분포를 활용하여, 알려지지 않은 봇넷의 온라인 실시간 탐지를 가능하게 하기 위해.
• 학습 중에 볼 수 없었던, 비표준 프로토콜(예: 고유 C2 채널)을 사용하는 봇넷 유형 포함 다양한 봇넷 유형에 대해 강건성을 검증하기 위해.
• 깊이 있는 생성 모델을 사용해 네트워크 트래픽의 시간적 의존성을 모델링함으로써 이상 탐지 시스템의 일반화 및 적응 능력을 향상시키기 위해.

제안 방법

• 제안된 방법은 정상 네트워크 트래픽 시퀀스의 잠재 표현을 학습하기 위해 순환 변동 자동에코더(RVAE)를 활용하며, 시간적 및 주기적 패턴을 포착한다.
• RVAE는 정상 네트워크 플로우 데이터에만 훈련되어 있으며, 입력 시퀀스를 복원하는 동시에 변동 추론을 통해 불확실성을 모델링한다.
• 이상치 점수는 학습된 확률 분포(PDF) 하에서 복원 오차의 가능도를 사용하여 계산되며, 통계적 이상 탐지가 가능해진다.
• 새로운 네트워크 통계를 실시간으로 처리함으로써 온라인 탐지를 지원하며, 시간적 맥락을 유지하기 위해 슬라이딩 윈도우 방식을 사용한다.
• 복원 오차 분포에 대해 최적의 확률 분포(예: 일반화된 로지스틱, 폴드 캐시, 밀케)를 추정하여 정상 트래픽와 봇넷 트래픽를 구분한다.
• 다양한 시간 윈도우 길이(5초, 60초, 300초)에서 성능을 평가하였으며, 60초가 복원 정확도, 기울기 안정성, 탐지 성능 간의 균형을 고려할 때 최적으로 판단되었다.

실험 결과

연구 질문

• RQ1 RVAE와 같은 깊이 있는 생성 모델이 네트워크 트래픽의 순차적 및 주기적 패턴을 모델링하여 봇넷을 효과적으로 탐지할 수 있는가?
• RQ2 제안된 RVAE 기반 이상 탐지 시스템은 비표준 프로토콜(예: 비표준 IRC/HTTP/P2P 외 프로토콜)을 사용하는 사전에 볼 수 없었던 봇넷 가족에 대해 어떻게 성능을 발휘하는가?
• RQ3 스트리밍 모드에서 복원 정확도, 기울기 안정성, 탐지 성능를 균형 잡기 위해 최적의 시간 윈도우 길이는 무엇인가?
• RQ4 윈도우 크기 변화에 따라 분포 형태가 변하더라도, 복원 오차의 확률 분포가 정상 트래픽와 봇넷 트래픽를 신뢰성 있게 구분할 수 있는가?
• RQ5 특히 온라인 탐지 시나리오에서 CTU-13과 같은 벤치마크 데이터셋에서 최신 기술 수준의 접근 방식과 경쟁 가능한 성능을 달성하는가?

주요 결과

• 60초 윈도우를 사용할 경우, CTU-13 데이터셋에서 F1 스코어 0.929와 AUROC 0.975를 기록하여 문헌상 최고 성능과 동일하거나 이를 초월한다.
• 60초 윈도우에서 재현율 100%와 정밀도 86.5%를 달성하여 다양한 봇넷 유형에 대한 강력한 탐지 능력을 보여준다.
• 300초 윈도우는 정상 및 봇넷 복원 오차 분포가 겹쳐져 분리가 불량하여 정밀도가 낮은 53.7%를 기록한다.
• 5초 윈도우는 변동성이 높고 분리가 불량하며, 최적의 피팅 PDF로 폴드 캐시가 나타나 짧은 기간 패턴 모델링의 불안정성을 시사한다.
• 60초 윈도우에서 정상 및 봇넷 복원 오차 분포 간의 가장 명확한 분리가 이루어지며, 일반화된 로지스틱 분포가 가장 우수한 피팅을 제공한다.
• 학습 중에 볼 수 없었던 봇넷 가족(시나리오 6, 고유 C2 사용)을 66%의 샘플이 복원 오차 4 이하로 탐지하여, 새로운 프로토콜에 대한 강건성을 입증한다.