[论文解读] Brain-on-Switch: Towards Advanced Intelligent Network Data Plane via NN-Driven Traffic Analysis at Line-Speed

Jinzhu Yan, Haotian Xu+5 more|arXiv (Cornell University)|Mar 17, 2024

EEG and Brain-Computer Interfaces被引用 6

一句话总结

BoS 在可编程交换机上通过数据面友好型 RNN 和离线开关变压器模块，实现了神经网络驱动的线速流量分析，在准确性和可扩展性方面超越基于树的 INDP 方法。

ABSTRACT

The emerging programmable networks sparked significant research on Intelligent Network Data Plane (INDP), which achieves learning-based traffic analysis at line-speed. Prior art in INDP focus on deploying tree/forest models on the data plane. We observe a fundamental limitation in tree-based INDP approaches: although it is possible to represent even larger tree/forest tables on the data plane, the flow features that are computable on the data plane are fundamentally limited by hardware constraints. In this paper, we present BoS to push the boundaries of INDP by enabling Neural Network (NN) driven traffic analysis at line-speed. Many types of NNs (such as Recurrent Neural Network (RNN), and transformers) that are designed to work with sequential data have advantages over tree-based models, because they can take raw network data as input without complex feature computations on the fly. However, the challenge is significant: the recurrent computation scheme used in RNN inference is fundamentally different from the match-action paradigm used on the network data plane. BoS addresses this challenge by (i) designing a novel data plane friendly RNN architecture that can execute unlimited RNN time steps with limited data plane stages, effectively achieving line-speed RNN inference; and (ii) complementing the on-switch RNN model with an off-switch transformer-based traffic analysis module to further boost the overall performance. We implement a prototype of BoS using a P4 programmable switch as our data plane, and extensively evaluate it over multiple traffic analysis tasks. The results show that BoS outperforms state-of-the-art in both analysis accuracy and scalability.

研究动机与目标

• 通过在数据平面以线速实现神经网络驱动的流量分析，推动智能网络数据平面的边界。
• 通过引入数据平面友好的神经网络体系结构，克服限制交换机特征计算的硬件约束。
• 提供一个升级机制，在离线端利用全精度变压器模型以提升准确度，同时不牺牲线速性能。

提出的方法

• 提出一种数据平面友好型二值化 RNN，通过仅将激活值二值化并将层前向传播实现为匹配-动作表查找，以在保留全精度权重的同时实现高效计算。
• 引入滑动窗口计算方案，在有限的交换机阶段内实现无限制的RNN时间步。
• 采用基于环形缓冲的嵌入存储与三值匹配设计，在数据平面实现类似argmax的聚合。
• 联合设计集成模型推理系统（IMIS），实现对升级流的快速离线变压器分析，具受控吞吐量。
• 定义一种分析升级机制，使用基于置信度的聚合来决定哪些流量升级到离线开关变压器模块。
• 使用强调置信预测和对非真值类别概率具辨别性的专门损失函数来训练二值化 RNN。

实验结果

研究问题

• RQ1 是否可以在网络数据平面上直接以线速部署基于NN的模型（如RNN和变压器）来进行流量分析？
• RQ2 需要哪些架构和算法上的变更来使RNN适应可编程交换机的约束？
• RQ3 如何在不影响线速性能的前提下，有选择地将模棱两可或边缘情况的流量升级到离线变压器模型？

主要发现

• BoS 在 P4 可编程交换机上实现了线速的神经网络驱动流量分析，使用数据平面友好型二值化 RNN。
• 二值化 RNN 在将激活值二值化的同时保留全精度权重，使前向传播能够高效地通过匹配-动作表查找。
• 滑动窗口机制通过处理定长片段并聚合中间结果，在固定的交换机流水线下实现无限的RNN时间步。
• 离线 IMIS 实现对升级流的快速变压器分析，吞吐目标为每秒一千万包，同时保持低延迟。
• 在评估中，BoS 的 F1-score 比基于树的 NetBeacon 高出约 19%，比二值 MLP 基的 N3IC 高出约 40%。
• 实验表明，由于开关上的二值化 RNN 与离线 IMIS 的协同设计，具备高流量并发的可扩展性和可接受的硬件资源利用率。