[논문 리뷰] Towards the Development of Realistic Botnet Dataset in the Internet of Things for Network Forensic Analytics: Bot-IoT Dataset

Nickolaos Koroniotis, Nour Moustafa외 2명|arXiv (Cornell University)|2018. 11. 01.

Network Security and Intrusion Detection인용 수 9

한 줄 요약

이 논문은 다양한 공격 시나리오를 포함한 통제된 실험 환경을 통해 생성된 현실성 있고 잘 레이블링된 IoT 보트넷 포렌식을 위한 네트워크 트래픽 데이터셋인 Bot-IoT 데이터셋을 소개한다. SVM 및 딥러닝 모델을 사용하여 높은 탐지 성능을 입증하였으며, 정확도가 최대 99.99%에 이르고 F1-스코어는 거의 완벽한 성능을 기록하여 IoT 네트워크에서의 보트넷 탐지 기준을 설정한다.

ABSTRACT

The proliferation of IoT systems, has seen them targeted by malicious third parties. To address this, realistic protection and investigation countermeasures need to be developed. Such countermeasures include network intrusion detection and network forensic systems. For that purpose, a well-structured and representative dataset is paramount for training and validating the credibility of the systems. Although there are several network, in most cases, not much information is given about the Botnet scenarios that were used. This paper, proposes a new dataset, Bot-IoT, which incorporates legitimate and simulated IoT network traffic, along with various types of attacks. We also present a realistic testbed environment for addressing the existing dataset drawbacks of capturing complete network information, accurate labeling, as well as recent and complex attack diversity. Finally, we evaluate the reliability of the BoT-IoT dataset using different statistical and machine learning methods for forensics purposes compared with the existing datasets. This work provides the baseline for allowing botnet identificaiton across IoT-specifc networks. The Bot-IoT dataset can be accessed at [1].

연구 동기 및 목표

• 네트워크 포렌식 분석을 위한 현실적이고 잘 레이블링되며 다양한 IoT 보트넷 데이터셋의 부족을 해결하기 위해.
• 공격 유형을 정확히 레이블링하고 완전한 네트워크 트래픽을 캡처하는 재현 가능한 현실적인 실험 환경을 개발하기 위해.
• 정상 IoT 트래픽과 DDoS, DoS, 데이터 유출, 키로깅을 포함한 다수의 보트넷 공격 시나리오를 포함하는 대표성 있는 데이터셋을 생성하기 위해.
• 통계 분석 및 기계학습 모델을 활용해 데이터셋의 신뢰성을 평가하고 기존 데이터셋과의 성능 비교를 통해 검증하기 위해.
• 고급 보트넷 탐지 시스템을 IoT 환경에서 훈련 및 검증하기 위한 기초 데이터셋을 제공하기 위해.

제안 방법

• 실제 IoT 네트워크 아키텍처를 모방하는 센서, 게이트웨이, 제어 시스템를 포함한 100여 대 이상의 장치를 갖춘 현실적인 IoT 실험 환경 설계.
• 다양한 공격 시나리오를 시뮬레이션하기 위해 여러 보트넷 도구(예: Mirai, DDoS 도구) 배포 및 운영.
• 공격 유형과 하위 유형별로 정렬된 원시 패킷 캡처(PCAP) 수집 및 공격 유형 및 하위 유형에 대한 메타데이터 레이블링.
• 지속 시간, 패킷 수, 바이트 수, 프로토콜별 특화 지표 등을 포함한 네트워크 플로우 수준 통계를 활용한 특징 추출.
• 가장 정보성 있는 특징을 식별하고 차원을 감소시키기 위해 상관계수 및 공동 엔트로피와 같은 통계 기법 적용.
• 전체 특징 및 10개 최상의 특징 하위집합을 사용하여 기계학습 모델(SVM, RNN, LSTM)의 훈련 및 평가를 수행해 탐지 성능 평가.

실험 결과

연구 질문

• RQ1 실제 포렌식 분석을 위한 대표성 있는 보트넷 트래픽을 생성할 수 있는 현실적이고 재현 가능한 IoT 실험 환경을 구축할 수 있는가?
• RQ2 기계학습 모델을 활용할 때 Bot-IoT 데이터셋이 다양한 IoT 보트넷 공격을 고정밀도로 탐지하는 데 얼마나 효과적인가?
• RQ3 특징 선택(예: 10개 최상의 특징)이 모델 성능 및 훈련 효율성에 미치는 영향은 무엇인가?
• RQ4 공격 다양성, 레이블 정확도, 통계적 신뢰성 측면에서 기존 데이터셋과 비교해 Bot-IoT 데이터셋은 어떠한가?
• RQ5 딥러닝 모델(RNN, LSTM)은 최소한의 오진을 기록하면서도 IoT 전용 보트넷 트래픽에서 높은 탐지 성능을 달성할 수 있는가?

주요 결과

• 전체 특징 데이터셋으로 훈련된 SVM 모델이 이진 분류에서 가장 높은 정확도(0.99998645)와 재현율(0.99999226)을 기록했다.
• 10개 최상의 특징을 사용한 SVM 모델이 이진 분류에서 가장 높은 정밀도(0.99999419)와 가장 낮은 오진률(0.01257862)을 기록했다.
• RNN 및 LSTM 모델은 모든 공격 하위 유형에서 높은 정확도(98.7% 이상)와 F1-스코어(98% 이상)를 기록했으며, DDoS TCP 하위 유형에서는 97.7%의 F1-스코어를 기록했다.
• 데이터 유출 공격은 정밀도 0.98529412와 재현율 0.91780822로 가장 낮은 성능 지표를 보였으며, 저·중간 볼륨 공격에 대한 탐지 어려움을 시사했다.
• 데이터셋 크기가 증가할수록 훈련 시간이 증가했으며, 테스트된 모델들 중에서 DoS UDP-Normal 트래픽이 가장 오랜 훈련 시간(38.74초)을 소요했다.
• 혼동 행렬 분석 결과 대부분의 공격 유형에서 높은 참양성률과 낮은 오진률을 확인했으며, 특히 전체 특징 데이터를 사용한 RNN 및 LSTM 모델에서 뚜렷한 성능을 보였다.