[논문 리뷰] Towards Fine Grained Network Flow Prediction

Patrick Jahnke, Emmanuel Stapf외 3명|arXiv (Cornell University)|2018. 08. 20.

Network Traffic and Congestion Control참고 문헌 31인용 수 3

한 줄 요약

이 논문은 시간 시리즈 흐름 데이터를 단기 푸리에 변환(STFT)을 사용해 주파수 도메인으로 변환하고, 주성분 분석(PCA)을 통해 핵심 패턴을 추출한 후, 커널화된 칼만 필터를 적용해 급격한 트래픽 피크를 예측하는 주파수 기반 커널 칼만 필터(FKKF)라는 새로운 방법을 제안한다. 이 방법은 20개의 흐름 그룹 중 17개에서 평균 예측 오차 6.43%를 기록하며, 77%의 오차를 보이는 굵은 흐름 집계 방법보다 뚜렷하게 뛰어난 성능을 보였다.

ABSTRACT

One main challenge for the design of networks is that traffic load is not generally known in advance. This makes it hard to adequately devote resources such as to best prevent or mitigate bottlenecks. While several authors have shown how to predict traffic in a coarse grained manner by aggregating flows, fine grained prediction of traffic at the level of individual flows, including bursty traffic, is widely considered to be impossible. This paper shows, to the best of our knowledge, the first approach to fine grained per flow traffic prediction. In short, we introduce the Frequency-based Kernel Kalman Filter (FKKF), which predicts individual flows' behavior based on measurements. Our FKKF relies on the well known Kalman Filter in combination with a kernel to support the prediction of non linear functions. Furthermore we change the operating space from time to frequency space. In this space, into which we transform the input data via a Short-Time Fourier Transform (STFT), the peak structures of flows can be predicted after gleaning their key characteristics, with a Principal Component Analysis (PCA), from past and ongoing flows that stem from the same socket-to-socket connection. We demonstrate the effectiveness of our approach on popular benchmark traces from a university data center. Our approach predicts traffic on average across 17 out of 20 groups of flows with an average prediction error of 6.43% around 0.49 (average) seconds in advance, whilst existing coarse grained approaches exhibit prediction errors of 77% at best.

연구 동기 및 목표

• 실시간으로 급격한 트래픽 흐름을 예측하는 데 도전하는 것. 이는 선제적 혼잡 제어에 매우 중요하다.
• 짧은 기간 내 고분산 트래픽 피크를 포착하지 못하는 굵은 흐름 집계 방법의 한계를 극복하는 것.
• 같은 소켓 간 연결에서의 과거 및 현재 데이터만을 사용해 개별 흐름의 피크 트래픽을 정확하고 조기에 예측할 수 있도록 하는 것.
• 일반 네트워크 스위치에 배포 가능한 확장성 있고 탈중앙화된 예측 시스템을 설계하는 것.
• 혼잡이 발생하기 전에 적시에 경로 재할당 또는 자원 할당을 가능하게 하여 네트워크 관리의 선제적 조치를 지원하는 것.

제안 방법

• 시간 도메인에서의 원시 네트워크 흐름 데이터를 단기 푸리에 변환(STFT)을 사용해 주파수 도메인으로 변환하여 안정적인 스펙트럼 패턴을 드러내는 것.
• 같은 소켓 간 연결을 공유하는 과거 및 현재 흐름으로부터 주요 주파수 성분을 주성분 분석(PCA)을 통해 추출하는 것.
• 주파수 도메인에서의 비선형 동역학을 모델링하기 위해 커널화된 칼만 필터(FKKF)를 사용하여 향후 피크 구조를 예측하는 것.
• 탈중앙화된 방식으로 운영되며, FKKF 인스턴스가 네트워크 장치에서 실행되어 실시간으로 개별 흐름을 예측하는 것.
• 예측 정확도를 유지하기 위해 10ms 간격으로 고정밀도 풀링을 보장하는 모니터링 시스템과 FKKF를 통합하는 것.
• 스위치 코어당 200개 이상의 흐름을 예측할 수 있도록 계산 부하를 최적화하여 대규모 네트워크에서의 확장성 확보하는 것.

실험 결과

연구 질문

• RQ1 동일한 연결의 과거 및 현재 데이터만을 사용해 급격한 네트워크 흐름에 대해 미세한 흐름 기반 트래픽 예측을 달성할 수 있는가?
• RQ2 흐름 데이터를 주파수 도메인으로 변환하면 시간 도메인 방법보다 짧은 기간 내 트래픽 피크를 더 정확하게 예측할 수 있는가?
• RQ3 커널화된 칼만 필터는 주파수 도메인에서 비선형적이고 고분산된 트래픽 동역학을 효과적으로 모델링할 수 있는가?
• RQ4 제안된 FKKF 접근법은 일반 네트워크 하드웨어에 배포하기에 충분히 확장성 있고 효율적인가?
• RQ5 FKKF는 충분히 이르고 정확하게 트래픽 피크를 예측하여 선제적 혼잡 제어를 가능하게 할 수 있는가?

주요 결과

• FKKF는 20개의 흐름 그룹 중 17개에서 평균 예측 오차 6.43%를 기록하여 급격한 트래픽 피크 예측의 높은 정확도를 입증했다.
• 이 방법은 평균적으로 피크 트래픽을 0.49초 앞서 예측하여 선제적 네트워크 적응에 충분한 사전 시간을 확보했다.
• 반면 기존 방법인 ARIMA와 GARCH는 피크를 예측하지 못했으며, 비선형 피크를 모델링하지 못하는 탓에 종종 0을 예측하거나 진동하는 값을 출력했다.
• 단일 CPU 코어당 1000개의 예측에 평균 3.65ms가 소요되어, 스위치당 200개 이상의 흐름을 실시간으로 예측할 수 있었다.
• 100개의 흐름을 모니터링할 경우 50%의 CPU 활용률로도 99%의 풀링 정확도를 확보하여 일반 하드웨어에서의 구현 가능성을 확인했다.
• 이 방법은 소켓 간 연결에서 반복 패턴을 성공적으로 식별하여 흐름 간 학습을 가능하게 하고, 초기 데이터가 제한된 상황에서도 강력한 예측 성능을 유도했다.