[논문 리뷰] SuperNIC: A Hardware-Based, Programmable, and Multi-Tenant SmartNIC

Yizhou Shan, Will Y. Lin외 3명|arXiv (Cornell University)|2021. 09. 16.

Cloud Computing and Resource Management인용 수 4

한 줄 요약

SuperNIC는 FPGA 가속 기반의 하드웨어 기반 다중 멀티테넌트 스마트NIC로, 네트워크 작업을 체인으로 묶어 효율적인 스케줄링을 가능하게 하고, 적응형 공간 및 시간 공유를 통한 동적이고 공정한 FPGA 자원 공유를 지원한다. DAG 수준의 병렬 처리와 최적화된 자원 할당을 통해 100 Gbps의 높은 대역폭, 낮은 지연 시간을 달성하며, DRF 대비 최대 2.3배 높은 집합적 처리량을 제공한다.

ABSTRACT

With CPU scaling slowing down in today's data centers, more functionalities are being offloaded from the CPU to auxiliary devices. One such device is the SmartNIC, which is being increasingly adopted in data centers. In today's cloud environment, VMs on the same server can each have their own network computation (or network tasks) or workflows of network tasks to offload to a SmartNIC. These network tasks can be dynamically added/removed as VMs come and go and can be shared across VMs. Such dynamism demands that a SmartNIC not only schedules and processes packets but also manages and executes offloaded network tasks for different users. Although software solutions like an OS exist for managing software-based network tasks, such software-based SmartNICs cannot keep up with the quickly increasing data-center network speed. This paper proposes a new SmartNIC platform called SuperNIC that allows multiple tenants to efficiently and safely offload FPGA-based network computation DAGs. For efficiency and scalability, our core idea is to group network tasks into chains that are connected and scheduled as one unit. We further propose techniques to automatically scale network task chains with different types of parallelism. Moreover, we propose a fair share mechanism that considers both fair space sharing and fair time sharing of different types of hardware resources. Our FPGA prototype of SuperNIC achieves high bandwidth, low latency performance whilst efficiently utilizing and fairly sharing resources.

연구 동기 및 목표

• 현대 데이터 센터의 네트워크 속도가 증가함에 따라(100–400 Gbps) 하드웨어 가속 기반의 다중 멀티테넌트 스마트NIC에 대한 증가하는 수요를 해결한다.
• 기존 소프트웨어 기반 스마트NIC 및 기존 하드웨어 솔루션의 한계를 극복하며, FPGA 기반 네트워크 기능 오프로딩에서 동적이고 안전하며 공정한 다중 멀티테넌시를 위한 네이티브 지원이 부족한 점을 보완한다.
• 다양한 멀티테넌트 간에 최소한의 지연 시간과 높은 처리량으로 사용자가 정의한 복잡한 네트워크 작업 DAG(Directed Acyclic Graph)를 효율적으로 실행할 수 있도록 한다.
• 다양한 워크로드에서 동적으로 변화하는 환경에서도 FPGA 자원의 공간 공유(영역 할당)와 시간 공유(컨텍스트 스위칭)를 종합적으로 최적화하는 공정한 자원 공유 메커니즘을 설계한다.
• 실제 워크로드 환경에서 하드웨어 기반 스마트NIC가 라인 레이트 성능을 달성하면서도, 유연하고 안전하며 확장 가능한 다중 멀티테넌시를 지원할 수 있음을 입증한다.

제안 방법

• 크로스바를 통해 연결된 체인으로 네트워크 작업을 묶어, 크로스바 복잡도를 최소화함으로써 FPGA 면적 사용량과 스위칭 지연 시간을 감소시킨다.
• 패킷이 전체 DAG 실행이 필요하지 않은 경우를 방지하기 위해 체인 내에서 동적 스킵을 지원한다.
• 두 가지 유형의 병렬 처리 방식을 도입한다: (1) 엔드 투 엔드 DAG 실행 시간을 줄이기 위한 인터-체인 병렬 처리, (2) 전체 처리량을 증가시키기 위한 인스턴스 수준 병렬 처리.
• 워크로드 수요, 자원 가용성, 사용자가 지정한 자원 할당 비율을 기반으로 최적의 병렬 처리 수준을 자동으로 결정한다.
• 공간 공유(FPGA 영역 할당)와 시간 공유(컨텍스트 스위칭)를 동시에 관리하는 하이브리드 공정성 알고리즘을 설계한다.
• 파이ipel라인 실행과 효율적인 상태 관리를 통해 시간 공유 오버헤드를 숨기고, 낮은 지연 시간을 유지한다.

실험 결과

연구 질문

• RQ1 다중 멀티테넌트 스마트NIC 환경에서 FPGA 자원 사용량과 스위칭 지연 시간을 최소화하기 위해 네트워크 작업 체인은 어떻게 구성하고 스케줄링할 수 있는가?
• RQ2 DAG 기반 네트워크 기능 오프로딩에서 처리량 향상과 지연 시간 감소에 가장 효과적인 병렬 처리 유형은 무엇인가? (인터-체인, 인스턴스 수준 병렬 처리 중)
• RQ3 특히 공간 공유와 시간 공유를 병합한 경우, 여러 멀티테넌트 간에 FPGA 자원을 공정하게 공유하기 위해선 어떻게 해야 하는가?
• RQ4 하드웨어 기반 스마트NIC는 라인 레이트 성능(100 Gbps)을 달성하면서도 동적이고 안전하며 효율적인 다양한 네트워크 작업 오프로딩을 지원할 수 있는가?
• RQ5 다양한 워크로드 환경에서 제안된 공정성 메커니즘은 기존의 기법들(DRF 등)과 비교해 어떻게 성능을 발휘하는가?

주요 결과

• SuperNIC의 FPGA 프로토타입은 100 Gbps 라인 레이트 성능을 달성하며 낮은 지연 시간을 보이며, 현대 데이터 센터 네트워크의 하드웨어 수준 확장성을 입증한다.
• 작업 체인과 크로스바 최적화를 통해 SuperNIC는 FPGA 면적 사용량을 감소시키고 기존 크로스바 기반 설계의 확장성 한계를 피한다.
• 하이브리드 공정성 메커니즘은 동적 부하 변화 상황에서도 두 멀티테넌트 모두 주요 자원의 공정한 할당을 보장하며, 정적 및 DRF 기반 기법보다 뛰어난 성능을 발휘한다.
• 인터-체인 및 인스턴스 수준 병렬 처리를 지원함으로써 SuperNIC는 다중 멀티테넌트 워크로드에서 DRF 기반 베이스라인 대비 최대 2.3배 높은 집합적 처리량을 달성한다.
• Clio와의 엔드 투 엔드 벤치마크에서 SuperNIC는 Clio의 기본 성능를 그대로 유지하며, 캐싱 기능을 활성화한 경우 특히 100 Gbps 링크에서 Clover 및 HERD보다 처리량 면에서 뛰어난 성능을 보인다.
• SuperNIC에 키-밸류 캐싱 네트워크 기능 모듈을 통합함으로써 원격 메모리 접근 지연 시간을 감소시키고 기존 Clio 시스템의 10 Gbps 버스터스트를 피함으로써 성능 향상에 기여한다.