[논문 리뷰] Elephant Flows Detection Using Deep Neural Network, Convolutional Neural Network, Long Short Term Memory and Autoencoder

Getahun Wassie Geremew, Jianguo Ding|arXiv (Cornell University)|2023. 06. 06.

Internet Traffic Analysis and Secure E-voting인용 수 4

한 줄 요약

이 논문은 DNN, CNN, LSTM 및 오토에인코더 모델을 사용하여 엘레펀트 플로우—망혼잡을 유발하는 고대역폭 네트워크 플로우—를 탐지하는 딥러닝 기반 동적 트래픽 분류기를 제안한다. 이 모델들은 높은 정확도(최대 99.12%)와 낮은 재구성 오차(0.13)를 달성하여 라벨이 없는 데이터에서도 대역폭을 과도하게 소비하는 플로우를 효과적으로 식별함을 보여주며, 특히 오토에인코더의 비지도 학습 접근 방식이 뛰어난 성능을 발휘한다.

ABSTRACT

Currently, the wide spreading of real-time applications such as VoIP and videos-based applications require more data rates and reduced latency to ensure better quality of service (QoS). A well-designed traffic classification mechanism plays a major role for good QoS provision and network security verification. Port-based approaches and deep packet inspections (DPI) techniques have been used to classify and analyze network traffic flows. However, none of these methods can cope with the rapid growth of network traffic due to the increasing number of Internet users and the growth of real time applications. As a result, these methods lead to network congestion, resulting in packet loss, delay and inadequate QoS delivery. Recently, a deep learning approach has been explored to address the time-consumption and impracticality gaps of the above methods and maintain existing and future traffics of real-time applications. The aim of this research is then to design a dynamic traffic classifier that can detect elephant flows to prevent network congestion. Thus, we are motivated to provide efficient bandwidth and fast transmision requirements to many Internet users using SDN capability and the potential of Deep Learning. Specifically, DNN, CNN, LSTM and Deep autoencoder are used to build elephant detection models that achieve an average accuracy of 99.12%, 98.17%, and 98.78%, respectively. Deep autoencoder is also one of the promising algorithms that does not require human class labeler. It achieves an accuracy of 97.95% with a loss of 0.13 . Since the loss value is closer to zero, the performance of the model is good. Therefore, the study has a great importance to Internet service providers, Internet subscribers, as well as for future researchers in this area.

연구 동기 및 목표

• VoIP 및 영상 스트리밍과 같은 고대역폭 실시간 애플리케이션에서 발생하는 엘레펀트 플로우로 인한 네트워크 혼잡 문제를 해결하기 위해.
• 기존의 포트 기반 및 DPI 방법의 한계를 극복하기 위해, 특히 확장성과 높은 네트워크 트래픽 부하에 취약한 점을 해결하기 위해.
• 개선된 QoS 및 네트워크 보안을 위해 딥러닝을 활용한 동적이고 확장 가능한 트래픽 분류 시스템을 설계하기 위해.
• 엘레펀트 플로우 탐지에 적합한 다양한 딥러닝 아키텍처—DNN, CNN, LSTM 및 오토에인코더—를 평가하기 위해.
• 라벨이 필요한 인간의 라벨링 데이터에 의존하지 않고도 가능하도록 비지도 학습을 통한 오토에인코더의 잠재적 활용을 탐색하기 위해.

제안 방법

• 본 연구는 엘레펀트 플로우 탐지에 사용된 네 가지 딥러닝 모델—딥 네트워크(DNN), 컨볼루션 네트워크(CNN), 장기 단기 기억(LSTM), 딥 오토에인코더—를 활용한다.
• 입력 특징은 패킷 수, 바이트 수, 플로우 지속 시간 등의 네트워크 플로우 통계에서 유도된다.
• DNN, CNN 및 LSTM 모델은 라벨이 부여된 엘레펀트 플로우 데이터를 사용하여 지도 학습 방식으로 훈련된다.
• 오토에인코더 모델은 정상 플로우를 재구성하는 데 비지도 학습 방식으로 훈련되며, 높은 재구성 오차는 엘레펀트 플로우로 간주된다.
• 모델 성능 평가에는 정확도와 재구성 오차를 사용하며, 오토에인코더의 성능은 재구성 오차 기반 이상치 탐지 능력으로 측정된다.
• 모델들은 실제 네트워크 데이터셋을 기반으로 평가되어 현실적인 조건에서의 탐지 능력을 점검한다.

실험 결과

연구 질문

• RQ1 딥러닝 모델은 고용량 실시간 네트워크 트래픽에서 엘레펀트 플로우를 효과적으로 탐지할 수 있는가?
• RQ2 DNN, CNN, LSTM 및 오토에인코더와 같은 다양한 딥러닝 아키텍처는 탐지 정확도와 효율성 측면에서 어떻게 비교되는가?
• RQ3 비지도 학습을 통한 오토에인코더 모델은 라벨이 없는 훈련 데이터 없이도 엘레펀트 플로우를 탐지할 수 있는가?
• RQ4 재구성 오차는 오토에인코더의 고대역폭 플로우 식별 능력에 어떤 영향을 미치는가?
• RQ5 이러한 모델들은 동적인 네트워크 환경에서 낮은 지연 시간과 높은 정확도를 유지를 하는 데 얼마나 효과적인가?

주요 결과

• DNN 모델은 99.12%의 최고 정확도를 기록하여 엘레펀트 플로우 분류에서 뛰어난 성능을 보였다.
• CNN 모델은 98.17%의 정확도를 달성하여 플로우 특징의 공간적 패턴을 효과적으로 포착하는 데 성공했다.
• LSTM 모델은 98.78%의 정확도를 기록하여 네트워크 플로우의 시간적 의존성을 모델링하는 데 뛰어난 능력을 보였다.
• 오토에인코더 모델은 97.95%의 정확도와 0.13의 낮은 재구성 오차를 기록하여 비지도 이상치 탐지에서 강력한 성능을 보였다.
• 낮은 재구성 오차 값(0.13)은 오토에인코더 모델이 정상 플로우 패턴을 효과적으로 학습하고, 이로 인해 발생하는 편차를 엘레펀트 플로우로 탐지할 수 있음을 확인한다.
• 본 연구는 딥러닝 모델, 특히 오토에인코더가 라벨이 없는 데이터에 의존하지 않고도 실시간 엘레펀트 플로우 탐지에 대해 확장 가능하고 효율적인 솔루션을 제공함을 확인한다.