[논문 리뷰] Brain-on-Switch: Towards Advanced Intelligent Network Data Plane via NN-Driven Traffic Analysis at Line-Speed

Jinzhu Yan, Haotian Xu외 5명|arXiv (Cornell University)|2024. 03. 17.

EEG and Brain-Computer Interfaces인용 수 6

한 줄 요약

BoS는 데이터플레인 친화적 RNN과 off-switch 트랜스포머 모듈을 통해 프로그래머블 스위치에서 라인 속도로 신경망 기반 트래픽 분석을 가능하게 하며, 정확도와 확장성 면에서 트리 기반 INDP 방법을 능가합니다.

ABSTRACT

The emerging programmable networks sparked significant research on Intelligent Network Data Plane (INDP), which achieves learning-based traffic analysis at line-speed. Prior art in INDP focus on deploying tree/forest models on the data plane. We observe a fundamental limitation in tree-based INDP approaches: although it is possible to represent even larger tree/forest tables on the data plane, the flow features that are computable on the data plane are fundamentally limited by hardware constraints. In this paper, we present BoS to push the boundaries of INDP by enabling Neural Network (NN) driven traffic analysis at line-speed. Many types of NNs (such as Recurrent Neural Network (RNN), and transformers) that are designed to work with sequential data have advantages over tree-based models, because they can take raw network data as input without complex feature computations on the fly. However, the challenge is significant: the recurrent computation scheme used in RNN inference is fundamentally different from the match-action paradigm used on the network data plane. BoS addresses this challenge by (i) designing a novel data plane friendly RNN architecture that can execute unlimited RNN time steps with limited data plane stages, effectively achieving line-speed RNN inference; and (ii) complementing the on-switch RNN model with an off-switch transformer-based traffic analysis module to further boost the overall performance. We implement a prototype of BoS using a P4 programmable switch as our data plane, and extensively evaluate it over multiple traffic analysis tasks. The results show that BoS outperforms state-of-the-art in both analysis accuracy and scalability.

연구 동기 및 목표

• 지능형 네트워크 데이터 플레인을 확장하여 데이터 플레인에서 라인 속도로 신경망 기반 트래픽 분석을 가능하게 합니다.
• 데이터 플레인 친화적 NN 아키텍처를 도입하여 스위치에서의 특징 계산을 제한하는 하드웨어 제약을 극복합니다.
• 라인 속도 성능을 손상시키지 않으면서 정확도를 높이기 위해 off-switch에서 풀 프리시전 트랜스포머 모델을 활용하는 에스컬레이션 메커니즘을 제공합니다.

제안 방법

• 활성화만 이진화하고 계층 전달을 매치-액션 테이블 조회로 구현하여 풀 프리시전 가중치를 보존하는 데이터 플레인 친화적 이진 RNN을 제안합니다.
• 제한된 수의 스위치 스테이지 내에서 무한한 RNN 시간 단계를 가능하게 하는 슬라이딩 윈도우 계산 방식
• 링 버퍼 기반 임베딩 저장소와 삼진 매칭 설계를 도입하여 데이터 플레인에서 argmax 유사 집계를 구현합니다.
• 제어된 처리량으로 확장 흐름에 대해 신속한 off-switch 트랜스포머 기반 분석을 가능하게 하는 Integrated Model Inference System(IMIS)를 공동 설계합니다.
• 신뢰도 기반 집계를 사용하여 어떤 흐름이 off-switch 트랜스포머 모듈로 에스컬레이션될지 결정하는 분석 에스컬레이션 메커니즘을 정의합니다.
• 확신 있는 예측과 구별 가능한 비정답 클래스 확률을 강조하는 특수 손실 함수로 이진 RNN을 학습합니다.

실험 결과

연구 질문

• RQ1 RNN과 트랜스포머와 같은 NN 기반 모델을 네트워크 데이터 플레인에서 직접 라인 속도로 트래픽 분석에 배포할 수 있습니까?
• RQ2 프로그래머블 스위치의 제약에 맞게 RNN을 적응시키려면 어떤 설계 아키텍처 및 알고리즘 변경이 필요합니까?
• RQ3 라인 속도 성능을 저해하지 않으면서 애매하거나 엣지 케이스 흐름을 어떻게 선택적으로 off-switch 트랜스포머 모델로 에스컬레이션할 수 있습니까?

주요 결과

• BoS는 데이터 플레인 친화적 이진 RNN를 사용하여 P4 프로그래머블 스위치에서 라인 속도 NN 기반 트래픽 분석을 달성합니다.
• 이진 RNN은 활성화만 이진화하고 풀 프리시전 가중치를 보존하여 전달 전파를 위한 효율적인 매치-액션 테이블 조회를 가능하게 합니다.
• 고정된 스위치 파이프라인에도 불구하고 고정 길이 구간을 처리하고 중간 결과를 집계하여 무한한 RNN 시간 단계를 가능하게 하는 슬라이딩 윈도우 메커니즘이 있습니다.
• 오프 스위치 IMIS는 초당 천만 패킷의 처리량 목표를 유지하면서도 낮은 지연으로 에스컬레이션된 흐름에 대한 트랜스포머 기반 분석을 빠르게 가능하게 합니다.
• BoS는 평가에서 트리 기반 NetBeacon보다 최대 약 19% 높은 F1 점수, 이진 MLP 기반 N3IC보다 최대 약 40% 높은 F1 점수를 달성합니다.
• 실험은 온-스위치 이진 RNN과 오프-스위치 IMIS의 공동 설계로 높은 흐름 동시성과 허용 가능한 하드웨어 자원 활용에 대한 확장성을 시연합니다.