[논문 리뷰] ZYELL-NCTU NetTraffic-1.0: A Large-Scale Dataset for Real-World Network Anomaly Detection

Lei Chen, Shao-En Weng외 3명|arXiv (Cornell University)|2021. 03. 08.

Network Security and Intrusion Detection참고 문헌 2인용 수 6

한 줄 요약

ZYELL-NCTU NetTraffic-1.0은 운영 중인 네트워크의 방화벽 로그에서 직접 수집한 대규모 실세계 네트워크 트래픽 데이터셋으로, 악성 탐지 연구를 발전시키기 위해 설계되었다. 이 데이터셋은 IP 익명화를 하지 않아 원본 트래픽 특성을 그대로 유지하며, 현실적인 조건에서 이상 탐지 모델의 보다 정확하고 최신 기준의 훈련 및 평가를 가능하게 한다.

ABSTRACT

Network security has been an active research topic for long. One critical issue is improving the anomaly detection capability of intrusion detection systems (IDSs), such as firewalls. However, existing network anomaly datasets are out of date (i.e., being collected many years ago) or IP-anonymized, making the data characteristics differ from today's network. Therefore, this work introduces a new, large-scale, and real-world dataset, ZYELL-NCTU NetTraffic-1.0, which is collected from the raw output of firewalls in a real network, with the objective to advance the development of network security researches.

연구 동기 및 목표

• 이상 탐지 연구를 위한 최신 기준의 실세계 네트워크 트래픽 데이터셋 부족 문제를 해결하기 위해.
• 실제 생산용 방화벽 로그에서 수집된 대규모 데이터셋을 제공하여 현재의 네트워크 행동을 반영하기 위해.
• 기존 데이터셋이 오래되었거나 IP 익명화되어 있어 트래픽 특성을 왜곡하는 한계를 극복하기 위해.
• 현실적인 훈련 및 평가 데이터를 통해 보다 정확하고 강력한 침입 탐지 시스템(IPS) 개발을 지원하기 위해.
• 공개 가능한 고정밀도 데이터셋을 제공함으로써 네트워크 보안, 머신러닝 및 AI 분야의 연구를 지원하기 위해.

제안 방법

• 실제 조직의 운영 네트워크에서 실제 생산용 방화벽에서 직접 원본 네트워크 트래픽 데이터를 수집하기 위해.
• 원본 IP 주소 및 네트워크 메타데이터를 유지하여 현실적인 트래픽 특성을 그대로 유지하기 위해.
• 기계학습 및 보안 분석에 적합한 표준화된 형식으로 데이터를 통합하고 정렬하기 위해.
• 연구 목적의 유용성을 유지하면서도 데이터 무결성과 개인정보 보호 규정을 준수하기 위해.
• 광범위한 활용과 재현 가능성을 장려하기 위해 유연한 라이선스 하에 데이터셋을 공개하기 위해.
• 효과적인 연구 활용을 지원하기 위해 상세한 문서화, 메타데이터 및 샘플 데이터를 제공하기 위해.

실험 결과

연구 질문

• RQ1 실시간 방화벽 로그에서 직접 수집한 대규모 실세계 네트워크 트래픽 데이터셋이 이상 탐지 모델의 성능 향상에 기여할 수 있는가?
• RQ2 현대의 실제 생산 환경에서의 네트워크 행동은 이전에 익명화된 오래된 데이터셋과 어떻게 다를까?
• RQ3 원본이며 익명화되지 않은 네트워크 데이터가 침입 탐지 시스템의 훈련 및 평가에 얼마나 높은 수준의 향상을 이끌 수 있는가?
• RQ4 기존 기준 데이터셋에 누락되어 있는 현재 실세계 네트워크 트래픽의 핵심 특성은 무엇인가?
• RQ5 공개 가능한 고정밀도 데이터셋은 어떻게 네트워크 보안 및 머신러닝 연구의 혁신을 가속화할 수 있는가?

주요 결과

• ZYELL-NCTU NetTraffic-1.0은 IP 익명화 없이 실시간 방화벽 로그에서 직접 수집한 최초의 대규모 실세계 네트워크 이상 탐지 데이터셋이다.
• 이 데이터셋은 현대적인 트래픽 패턴과 프로토콜을 반영하여 현재의 네트워크 행동을 고정밀도로 캡처한다.
• 이 데이터셋은 공개되어 연구용도로 활용 가능하며, 네트워크 보안 및 머신러닝 분야의 재현 가능한 연구를 지원한다.
• 원본 IP 주소 및 네트워크 메타데이터를 유지함으로써 실제 이상 현상의 보다 정확한 모델링이 가능해진다.
• 이 데이터셋은 침입 탐지, 이상 탐지 및 네트워크 행동 분석 분야의 고급 연구를 지원한다.
• 이 데이터셋의 공개는 네트워크 보안 연구 분야에서 중요한 격차를 메우며, 최신 기준의 현실적인 평가 기준을 제공한다.