[논문 리뷰] IIsy: Practical In-Network Classification

Changgang Zheng, Zhaoqi Xiong외 7명|arXiv (Cornell University)|2022. 05. 17.

Molecular Communication and Nanonetworks인용 수 33

한 줄 요약

IIsy는 시판되는 프로그래머블 스위치에 전통적 및 앙상블 ML 분류기들을 매핑하여 네트워크 내 분류를 가능하게 하며, 작은 네트워크 내 모델을 실행하고 더 큰 백엔드 모델과 연결하는 하이브리드 모델을 포함합니다.

ABSTRACT

The rat race between user-generated data and data-processing systems is currently won by data. The increased use of machine learning leads to further increase in processing requirements, while data volume keeps growing. To win the race, machine learning needs to be applied to the data as it goes through the network. In-network classification of data can reduce the load on servers, reduce response time and increase scalability. In this paper, we introduce IIsy, implementing machine learning classification models in a hybrid fashion using off-the-shelf network devices. IIsy targets three main challenges of in-network classification: (i) mapping classification models to network devices (ii) extracting the required features and (iii) addressing resource and functionality constraints. IIsy supports a range of traditional and ensemble machine learning models, scaling independently of the number of stages in a switch pipeline. Moreover, we demonstrate the use of IIsy for hybrid classification, where a small model is implemented on a switch and a large model at the backend, achieving near optimal classification results, while significantly reducing latency and load on the servers.

연구 동기 및 목표

• 서버 부하와 지연을 줄이기 위해 네트워크 내에서 기계 학습 분류를 직접 수행하도록 동기를 부여하고 이를 가능하게 한다.
• 일반 상용 스위치를 위한 데이터 플레인 및 컨트롤 플레인 프로그램으로 학습된 ML 모델을 변환하는 매핑 프레임워크를 제공한다.
• 결정 트리, Random Forest, Isolation Forest, XGBoost, SVM, Naïve Bayes, K-Means 등 다양한 모델을 지원하되 신경망은 피한다.
• 네트워크 내에서 자원 제약 및 특징 추출 문제를 다루어 네트워크 내 분류를 가능하게 한다.
• 스위치와 백엔드 서버 간 계산을 분할하는 하이브리드 배치의 효용을 시연한다.

제안 방법

• 수학 연산 및 분류를 구현하기 위해 룩업 테이블을 사용하는 모델-투-스위치 매핑 방법론을 개발한다.
• 스위치 단계 수가 트리 깊이에 비례해 증가하지 않도록 파이프라인 깊이를 모델 깊이에서 분리한다.
• 앙상블 방법에서 트리 간에 특징 테이블을 공유하여 테이블 확산을 줄인다.
• 고전 모델(SVM, Naïve Bayes, K-Means)에 대해 두 가지 접근법을 제공: 특징별 테이블(table-per-feature) 또는 클래스/지표별 테이블(table-per-class/indicator)로 정확도와 자원 사용의 균형을 맞춘다.
• 배포된 프로그램을 변경하지 않고 테이블 업데이트를 통해 재학습 및 업데이트를 가능하게 하며, 하이브리드 배포 워크플로를 포함한다.
• 표준 ML 학습 출력(예: pickle)으로 데이터-플레인(P4) 및 컨트롤-플레인 테이블 항목을 자동 생성하여 대상 디바이스에 적용한다.

실험 결과

연구 질문

• RQ1 다양한 ML 분류 모델을 네트워크 프로토콜이나 도구를 변경하지 않고 프로그래머블 네트워크 디바이스에 효율적으로 매핑할 수 있는 방법은?
• RQ2 모델 복잡도를 스위치 파이프라인 깊이와 독립시키는 확장 가능한 네트워크 내 분류를 가능하게 하는 메커니즘은 무엇인가?
• RQ3 패킷, 흐름, 집계, 파일의 세분화 범위에서 특징 추출을 네트워크 디바이스 내에서 어떻게 수행할 수 있는가?
• RQ4 작은 네트워크 내 모델 + 큰 백엔드 모델의 하이브리드 배치가 백엔드 부하와 지연을 줄이면서 거의 최적에 가까운 정확도를 달성할 수 있는가?
• RQ5 트래픽 중단을 최소화하는 네트워크 내 모델의 실용적인 재학습 및 업데이트 워크플로우는 무엇인가?

주요 결과

• IIsy는 결정 트리, Random Forest, Isolation Forest, XGBoost, SVM, Naïve Bayes, 및 K-Means를 포함한 여러 ML 분류기를 프로그래머블 스위치에 매핑하는 것을 시연한다.
• 파이프라인 단계 수에 독립적인 매핑 방식은 스위치에서 앙상블 모델의 확장을 가능하게 한다.
• 특징 추출은 패킷, 흐름, 집계, 파일의 세분화 전반에서 시연되며, 패킷 간에 분산된 데이터 처리도 포함된다.
• 하이브리드 배치가 백엔드 부하 감소 및 분류 지연 감소를 보이며, 시급한 작업에 대한 분류 성능을 유지한다.
• 재학습은 배포된 데이터-플레인 프로그램을 변경하지 않고 테이블 업데이트를 통해 가능하며, 운영 환경에서 신속한 모델 업데이트를 가능하게 한다.