[논문 리뷰] P4COM: In-Network Computation with Programmable Switches

Ge Chen, Gaoxiong Zeng외 1명|arXiv (Cornell University)|2021. 07. 29.

Software-Defined Networks and 5G참고 문헌 53인용 수 8

한 줄 요약

P4COM은 사용자 친화적이고 메모리 효율적이며 장애 내성적인 프레임워크로, 프로그래머블 스위치에 MapReduce 스타일의 데이터 샤플링을 오프로드하여 네트워크 내 계산(INC)을 가능하게 한다. 고수준 논리 번역을 위한 P4 인터프리터, 제한된 내장 메모리를 최적화하기 위한 메모리 관리 정책, 장애 내성성을 위한 커팅 페이로드 메커니즘을 사용하여, 10Gbps 링크에서 선율 가까운 성능을 달성하고 데이터 샤플링 처리량을 2–5배 향상시킨다.

ABSTRACT

Traditionally, switches only provide forwarding services and have no credits on computation in distributed computing frameworks. The emerging programmable switches make in-network computing (INC) possible, i.e., offloading some computation to the switch data plane. While some proposals have attempted to offload computation onto special hardwares (e.g., NetFPGA), many practical issues have not been addressed. Therefore, we propose P4COM - a user-friendly, memory-efficient, and fault-tolerant framework realizing in-network computation (e.g., MapReduce) with programmable switches. P4COM consists of three modules. First, P4COM automatically translates application logic to switch data plane programs with a lightweight interpreter. Second, P4COM adopts a memory management policy to efficiently utilize the limited switch on-chip memory. Third, P4COM provides a cutting-payload mechanism to handle packet losses. We have built a P4COM prototype with a Barefoot Tofino switch and multiple commodity servers. Through a combination of testbed experiments and large-scale simulations, we show that P4COM is able to achieve line-rate processing at 10Gbps links, and can increase the data shuffling throughput by 2-5 times for the MapReduce-style applications.

연구 동기 및 목표

• 데이터 센터에서 전체 트래픽의 최대 46%를 차지하는 데이터 집계로 인한 분산 컴퓨팅 프레임워크(예: MapReduce)의 네트워크 통신 병목 문제를 해결하기 위해.
• 제한된 내장 메모리와 패킷 손실 위험에도 불구하고 신뢰성 있는 계산 오프로딩을 가능하게 하기 위해.
• 저수준 P4 프로그래밍 전문 지식 없이도 응용 프로그래머가 계산 논리를 표현할 수 있는 개발자 우호적인 인터페이스를 제공하기 위해.
• 스위치 메모리 활용도를 극대화하면서 오버플로우를 방지하는 메모리 관리 전략을 설계하기 위해.
• 재전송 오류 없이 중복 처리를 방지하고 정확성을 유지하는 복구 메커니즘을 통해 장애 내성을 확보하기 위해.

제안 방법

• P4COM은 고수준 MapReduce 논리를 효율적인 P4 데이터 플레인 프로그램으로 자동으로 변환하는 경량 인터프리터를 사용한다.
• 자원 제약 조건 하에서 흐름 테이블과 패킷 버퍼에 대한 동적 메모리 할당 및 재활용을 수행하는 메모리 관리 정책을 구현한다.
• 패킷 손실을 탐지하고 복구하는 데 사용되는 커팅 페이로드 전송 프rotocol을 통해 정확한 계산 결과를 보장한다.
• 운영 신뢰성을 확보하기 위해 TCP-Cubic과 통합하고, 워커 노드에 P4COM 통합 스위치와의 인터페이스를 위한 쉘레이어를 구현한다.
• 프로토타입은 Barefoot Tofino 스위치와 일반 서버를 기반으로 구현되었으며, 실험 기반 테스트베드 평가와 대규모 시뮬레이션을 통해 검증되었다.
• 시스템은 MapReduce 워크로드에서 일반적인 다수의 마퍼-리듀서 통신 패턴을 지원한다.

실험 결과

연구 질문

• RQ1 프로그래머블 스위치를 효과적으로 활용하여 서버에서 계산 작업을 오프로드함으로써 분산 프레임워크에서 네트워크 샤플링 트래픽을 줄일 수 있는가?
• RQ2 저수준 네트워크 프로그래밍 전문 지식 없이도 응용 논리를 추상화하고 P4 프로그램으로 컴파일할 수 있는 방법은 무엇인가?
• RQ3 제한된 내장 스위치 메모리를 최대한 활용하면서 오버플로우를 방지할 수 있는 메모리 관리 전략은 무엇인가?
• RQ4 네트워크 내 계산 중 발생하는 패킷 손실을 어떻게 처리하여 정확성과 중복 처리 방지를 보장할 수 있는가?
• RQ5 제안된 프레임워크는 실세계 데이터 센터 워크로드에서 선율 가까운 성능을 달성하고 처리량을 크게 향상시킬 수 있는가?

주요 결과

• 모든 테스트 케이스에서 P4COM은 선율 가까운 양호한 전송률을 달성했으며, 서버당 하나의 마퍼를 사용할 경우 측정된 처리량이 9.13 Gbps에 도달했다.
• 위키리듀스 벤치마크에서 기존 MapReduce 대비 샤플링 처리량이 2–5배 향상되었으며, 서버당 2개와 4개의 마퍼를 사용할 경우 각각 4.26 Gbps와 2.31 Gbps의 처리량을 기록했다.
• 3:1, 6:1, 12:1의 마퍼-리듀서 비율 변화에 관계없이 일관된 성능을 유지하여 다수의 마퍼-하나의 리듀서 통신 패턴에서의 확장성을 입증했다.
• 메모리 관리 정책은 지속적인 워크로드 하에서도 스위치 메모리 오버플로우를 효과적으로 방지하면서 높은 메모리 활용도를 유지했다.
• 커팅 페이로드 메커니즘은 중복 계산을 유발하지 않고 패킷 손실을 성공적으로 복구하여 결과의 정확성을 보장했다.
• 시뮬레이션과 테스트베드 평가를 통해 P4COM이 네트워크 병목 현상을 줄이고 10Gbps 환경에서 효율적으로 확장됨을 확인했다.