[논문 리뷰] A Case Study on Using Deep Learning for Network Intrusion Detection

Gabriel Fernández, Shouhuai Xu|arXiv (Cornell University)|2019. 10. 05.

Network Security and Intrusion Detection참고 문헌 41인용 수 13

한 줄 요약

이 논문은 현대 데이터셋을 사용하여 지도학습 기반 딥 뉴럴 네트워크(DNNs)와 비지도학습 기반 오토에인코더를 활용한 네트워크 침입 탐지에 대한 딥러닝의 성능을 평가한다. DNNs는 기존의 머신러닝 방법보다 뛰어나며, IP 주소의 첫 번째 세 옥텟만을 사용할 경우 동적 IP 할당 환경에서도 강건성을 유지한다. 반면 오토에인코더는 낮은 위양성률(0.00013)로 이상치를 효과적으로 탐지한다.

ABSTRACT

Deep Learning has been very successful in many application domains. However, its usefulness in the context of network intrusion detection has not been systematically investigated. In this paper, we report a case study on using deep learning for both supervised network intrusion detection and unsupervised network anomaly detection. We show that Deep Neural Networks (DNNs) can outperform other machine learning based intrusion detection systems, while being robust in the presence of dynamic IP addresses. We also show that Autoencoders can be effective for network anomaly detection.

연구 동기 및 목표

• 딥러닝이 지도학습 및 비지도학습 기반 네트워크 침입 탐지에서 효과적인지 평가하는 것.
• DHCP를 통한 동적 IP 할당 상황에서 DNN의 성능에 미치는 영향을 평가하는 것.
• 라벨이 부여된 악성 트래픽이 없는 조건에서 오토에인코더를 이용한 이상 탐지 가능성 탐색.
• 지능형이고 고정밀도의 현대 데이터셋(실제 레이블이 있는 데이터) 간의 모델 성능 비교.
• 모델 정확도 및 일반화 능력에 영향을 미치는 IP 주소 특성 표현 방식의 영향 분석.

제안 방법

• CIC IDS 2017 및 ISCX IDS 2012 데이터셋의 레이블이 부여된 네트워크 플로우 데이터를 사용하여 지도학습 기반의 완전히 연결된 피드포워드 딥 뉴럴 네트워크(DNN)를 학습한다.
• DNN은 은닉층에 ReLU 활성화 함수, 입력/출력층에 시그모이드 함수를 사용하며, 첫 번째 레이어에 L1 정규화를 적용한다.
• 비지도 이상 탐지의 경우, 양호한 네트워크 플로우 데이터를 기반으로 7층의 오토에인코더를 학습하며, 손실 함수로 평균 제곱오차를 사용한다.
• 입력 특성으로는 69개의 연속적 플로우 통계와 원-핫 인코딩된 프로토콜을 사용하며, IP 및 포트 특성을 제외하여 복잡도를 낮춘다.
• 오토에인코더는 양호한 트래픽의 저차원 잠재 표현을 학습하고 입력을 재구성하며, 재구성 오차를 기반으로 이상을 탐지한다.
• 재구성 오차 기준값 0.03을 설정하여 플로우를 이상으로 분류함으로써 위양성과 위음성의 균형을 이룬다.

실험 결과

연구 질문

• RQ1 현대 데이터셋에서 지도학습 기반 딥 뉴럴 네트워크가 기존 머신러닝 방법보다 네트워크 침입 탐지에서 뛰어난 성능을 보일 수 있는가?
• RQ2 IP 주소를 입력 특성으로 사용할 경우, DHCP를 통한 동적 IP 할당이 DNN 기반 침입 탐지 시스템의 성능에 어떤 영향을 미치는가?
• RQ3 오직 양호한 트래픽 데이터만으로 학습된 오토에인코더가 비지도 방식으로 네트워크 침입을 효과적으로 탐지할 수 있는가?
• RQ4 DNN에서 전체 IP 주소 대비 첫 번째 세 옥텟만을 사용할 경우 탐지 성능이 유지되는가?
• RQ5 오토에인코더 기반 이상 탐지에서 위양성률과 위음성률 간의 상충 관계는 어떠한가?

주요 결과

• DNN은 CIC IDS 2017 및 ISCX IDS 2012 데이터셋 양쪽 모두에서 진성 양성률과 위음성률 측면에서 다른 머신러닝 기반 침입 탐지 시스템보다 뛰어난 성능을 보였다.
• 원본 및 대상 IP 주소의 첫 번째 세 옥텟만을 사용할 경우 높은 탐지 성능를 유지하여 DHCP에 의한 동적 IP 할당 환경에서도 강건함을 입증했다.
• CIC IDS 2017에서 학습된 DNN는 전체 IP 주소를 사용할 경우 대비 최소한의 성능 저하를 보이며, 첫 번째 세 옥텟만을 사용할 경우 위음성률 0.00013을 기록했다.
• 양호한 플로우 데이터만으로 학습된 오토에인코더는 재구성 오차 기준값 0.03에서 매우 낮은 위양성률 0.00013(89개의 위양성)을 달성했다.
• 낮은 위양성률에도 불구하고 오토에인코더는 높은 위음성률 0.7670을 보이며, 많은 악성 플로우가 탐지되지 않았다.
• 악성 플로우의 재구성 오차는 양호한 플로우보다 유의미하게 높았으며, 이는 오토에인코더가 재구성 오차를 기반으로 이상을 구분할 수 있음을 확인했다.