[論文レビュー] Towards Fine Grained Network Flow Prediction

Patrick Jahnke, Emmanuel Stapf+3 more|arXiv (Cornell University)|Aug 20, 2018

Network Traffic and Congestion Control参考文献 31被引用数 3

ひとこと要約

本稿では、短時間フーリエ変換（STFT）を用いて時系列フローデータを周波数ドメインに変換し、主成分分析（PCA）により主要なパターンを抽出した後、カーネル化されたカルマンフィルタを適用することで、バースト性の高いトラフィックピークを予測する新規手法である周波数ベースのカーネルカルマンフィルタ（FKKF）を提示する。この手法は20個のフローグループのうち17個で平均予測誤差6.43％を達成し、77％の誤差を示す粗粒度の手法に比べ顕著に優れている。

ABSTRACT

One main challenge for the design of networks is that traffic load is not generally known in advance. This makes it hard to adequately devote resources such as to best prevent or mitigate bottlenecks. While several authors have shown how to predict traffic in a coarse grained manner by aggregating flows, fine grained prediction of traffic at the level of individual flows, including bursty traffic, is widely considered to be impossible. This paper shows, to the best of our knowledge, the first approach to fine grained per flow traffic prediction. In short, we introduce the Frequency-based Kernel Kalman Filter (FKKF), which predicts individual flows' behavior based on measurements. Our FKKF relies on the well known Kalman Filter in combination with a kernel to support the prediction of non linear functions. Furthermore we change the operating space from time to frequency space. In this space, into which we transform the input data via a Short-Time Fourier Transform (STFT), the peak structures of flows can be predicted after gleaning their key characteristics, with a Principal Component Analysis (PCA), from past and ongoing flows that stem from the same socket-to-socket connection. We demonstrate the effectiveness of our approach on popular benchmark traces from a university data center. Our approach predicts traffic on average across 17 out of 20 groups of flows with an average prediction error of 6.43% around 0.49 (average) seconds in advance, whilst existing coarse grained approaches exhibit prediction errors of 77% at best.

研究の動機と目的

• リアルタイムでバースト性の高い個々のネットワークフローを予測する課題に対処すること。これは、能動的混雑制御にとって不可欠である。
• 短期間で変動が激しいトラフィックバーストを捉えられない粗粒度の集約手法の限界を克服すること。
• 同じソケット間接続からの過去および進行中のデータのみを用いて、個々のフローにおけるピークトラフィックを正確かつ早期に予測すること。
• 商品化されたネットワークスイッチへの展開に適したスケーラブルで分散型の予測システムを設計すること。
• 混雑が発生する前に適切なルーティングの再配置やリソース割り当てが可能となるよう、能動的ネットワーク管理を支援すること。

提案手法

• 短時間フーリエ変換（STFT）を用いて、生のネットワークフローデータを周波数ドメインに変換し、安定したスペクトルパターンを明らかにする。
• 同じソケット間接続を共有する過去および進行中のフローから、主要な周波数成分を主成分分析（PCA）により抽出する。
• 周波数ドメインにおける非線形ダイナミクスをモデル化するため、カーネル化されたカルマンフィルタ（FKKF）を用い、将来のピーク構造を予測する。
• 分散型に動作させ、FKKFインスタンスをネットワーク機器に配置し、リアルタイムで個々のフローを予測する。
• 予測精度を維持するため、10ms間隔で高精度ポーリングを実現する監視システムとFKKFを統合する。
• 1スイッチコアあたり200以上のフローを予測可能な計算負荷最適化を実現し、大規模ネットワークにおけるスケーラビリティを確保する。

実験結果

リサーチクエスチョン

• RQ1 同じ接続からの履歴および進行中のデータのみを用いて、バースト性の高いネットワークフローの細分化された個別予測が可能か？
• RQ2 フローデータを周波数ドメインに変換することで、時間ドメイン手法に比べて短期的なトラフィックピークをより正確に予測できるか？
• RQ3 カーネル化されたカルマンフィルタは、周波数ドメインにおける非線形的かつ高分散性のトラフィックダイナミクスを効果的にモデル化できるか？
• RQ4 提案されたFKKFアプローチは、商品化されたネットワークハードウェアへの展開に十分なスケーラビリティと効率性を備えているか？
• RQ5 FKKFは、混雑制御を能動的に行うのに十分な早期かつ正確なトラフィックピーク予測が可能か？

主な発見

• FKKFは20個のフローグループのうち17個で平均予測誤差6.43％を達成し、バースト性の高いトラフィックピークの予測において高い正確性を示した。
• トラフィックは平均して0.49秒の前触れで予測可能であり、能動的ネットワーク適応に十分な余裕がある。
• 一方、ARIMA や GARCH といった従来手法はピークを予測できず、非線形バーストをモデル化できないため、しばしばゼロまたは振動値を予測していた。
• 1つのCPUコアあたり1000回の予測に対して平均3.65msの処理時間であり、1スイッチあたり200以上のフローをリアルタイムで予測可能である。
• 100個のフローを監視する状況で、CPU使用率は50％にとどまりながら99％のポーリング精度を達成しており、商品化されたハードウェアでも実現可能であることが確認された。
• 本手法はソケット間接続における繰り返しパターンを効果的に特定し、フロー間学習を可能にした。これにより、初期データが限られても堅牢な予測が可能となった。