[論文レビュー] Brain-on-Switch: Towards Advanced Intelligent Network Data Plane via NN-Driven Traffic Analysis at Line-Speed

Jinzhu Yan, Haotian Xu+5 more|arXiv (Cornell University)|Mar 17, 2024

EEG and Brain-Computer Interfaces被引用数 6

ひとこと要約

BoSは、データ平面に優しいRNNとオフスイッチのトランスフォーマーモジュールにより、ラインスピードでのニューラルネットワーク駆動のトラフィック分析をプログラム可能なスイッチ上で実現し、ツリー型INDP法と比較して精度とスケーラビリティで上回る。

ABSTRACT

The emerging programmable networks sparked significant research on Intelligent Network Data Plane (INDP), which achieves learning-based traffic analysis at line-speed. Prior art in INDP focus on deploying tree/forest models on the data plane. We observe a fundamental limitation in tree-based INDP approaches: although it is possible to represent even larger tree/forest tables on the data plane, the flow features that are computable on the data plane are fundamentally limited by hardware constraints. In this paper, we present BoS to push the boundaries of INDP by enabling Neural Network (NN) driven traffic analysis at line-speed. Many types of NNs (such as Recurrent Neural Network (RNN), and transformers) that are designed to work with sequential data have advantages over tree-based models, because they can take raw network data as input without complex feature computations on the fly. However, the challenge is significant: the recurrent computation scheme used in RNN inference is fundamentally different from the match-action paradigm used on the network data plane. BoS addresses this challenge by (i) designing a novel data plane friendly RNN architecture that can execute unlimited RNN time steps with limited data plane stages, effectively achieving line-speed RNN inference; and (ii) complementing the on-switch RNN model with an off-switch transformer-based traffic analysis module to further boost the overall performance. We implement a prototype of BoS using a P4 programmable switch as our data plane, and extensively evaluate it over multiple traffic analysis tasks. The results show that BoS outperforms state-of-the-art in both analysis accuracy and scalability.

研究の動機と目的

• データ平面でラインスピードのニューラルネットワーク駆動トラフィック分析を実現することで、インテリジェントネットワークデータプレーンの限界を押し広げる。
• スイッチ上の特徴量計算を制限するハードウェア制約を克服するため、データ平面に優しいNNアーキテクチャを導入する。
• ラインスピード性能を損なうことなく精度を向上させるため、オフスイッチのフルプレシジョン・トランスフォーマーモデルを活用するエスカレーション機構を提供する。

提案手法

• activations だけを2値化し、層のフォワード伝播をマッチアクションテーブルのルックアップとして実装することで、フルプレシジョンの重みを保持するデータ平面に優しいバイナリRNNを提案する。
• スイッチ段数の制限内で無制限なRNN時刻ステップを可能にするスライディングウィンドウ計算方式を導入する。
• データ平面上でargmax様の集約を実現するために、環状バッファを用いた埋め込みストレージと三値マッチング設計を採用する。
• Integrated Model Inference System (IMIS) の共同設計により、エスカレーションフローのための高速なオフスイッチ型トランスフォーマー解析を、制御されたスループットで実現する。
• 信頼度ベースの集約を用いて、どのフローをオフスイッチのトランスフォーマーモジュールへエスカレートするかを決定する分析エスカレーション機構を定義する。
• 確信度の高い予測と判別的な非真のクラス確率を強調する特殊な損失関数でバイナリRNNを訓練する。

実験結果

リサーチクエスチョン

• RQ1 RNNやトランスフォーマーのようなNNベースのモデルを、ラインスピードでネットワークデータ平面上で直接トラフィック分析に展開できるか？
• RQ2 プログラム可能なスイッチの制約に適合させるために、RNNにどのようなアーキテクチャ的・アルゴリズム的変更が必要か？
• RQ3 ラインスピード性能を損なうことなく、あいまいなフローやエッジケースのフローを選択的にオフスイッチのトランスフォーマーモデルへエスカレートするにはどうすればよいか？

主な発見

• BoSは、データ平面に優しいバイナリRNNを用いて、P4プログラム可能スイッチ上でラインスピードのNN駆動トラフィック分析を実現する。
• バイナリRNNは、活性化を2値化しつつ重みはフルプレシジョンを保持し、フォワード伝播のための効率的なマッチアクションテーブルルックアップを可能にする。
• 固定パイプラインにもかかわらず、固定長セグメントを処理して中間結果を集約することで、スライディングウィンドウ機構は無制限のRNN時刻ステップを可能にする。
• オフスイッチIMISは、エスカレートしたフローに対して高スループットで秒速1,000万パケットを目標とする高速なトランスフォーマーベース分析を実現し、遅延を低く保つ。
• BoSは評価において、ツリー型NetBeaconより最大約19%のF1スコア、バイナリMLPベースのN3ICより最大約40%高い。
• 実験は、オンスイッチのバイナリRNNとオフスイッチIMISの共設計により、高いフロー並行性と許容できるハードウェアリソース利用を示す。