[논문 리뷰] OSMOSIS: Enabling Multi-Tenancy in Datacenter SmartNICs

Mikhail Khalilov, Marcin Chrapek외 8명|arXiv (Cornell University)|2023. 09. 07.

Software-Defined Networks and 5GComputer Science인용 수 3

한 줄 요약

OSMOSIS는 데이터센터에서 스마트NIC를 위한 공동 설계된 경량 하드웨어 보조 자원 관리자로, 계산, DMA 및 이젝션 대역폭에 대한 성능 격리와 QoS를 제공하여 공정하고 작업을 계속하는 다중 테넌시를 가능하게 한다. SR-IOV 가상화와 새로운 스케줄링 정책을 통해 계산, DMA 및 이젝션 대역폭에 대한 성능 격리와 QoS를 실현하며, 유사한 스케줄러 대비 최대 63% 빠른 플로우 완료 시간과 83% 높은 공정성을 달성한다.

ABSTRACT

Multi-tenancy is essential for unleashing SmartNIC's potential in datacenters. Our systematic analysis in this work shows that existing on-path SmartNICs have resource multiplexing limitations. For example, existing solutions lack multi-tenancy capabilities such as performance isolation and QoS provisioning for compute and IO resources. Compared to standard NIC data paths with a well-defined set of offloaded functions, unpredictable execution times of SmartNIC kernels make conventional approaches for multi-tenancy and QoS insufficient. We fill this gap with OSMOSIS, a SmartNICs resource manager co-design. OSMOSIS extends existing OS mechanisms to enable dynamic hardware resource multiplexing of the on-path packet processing data plane. We integrate OSMOSIS within an open-source RISC-V-based 400Gbit/s SmartNIC. Our performance results demonstrate that OSMOSIS fully supports multi-tenancy and enables broader adoption of SmartNICs in datacenters with low overhead.

연구 동기 및 목표

• 다중 테넌트 데이터센터 워크로드를 위한 기존의 스마트NIC에서의 성능 격리와 QoS의 부족을 해결한다.
• 기존의 다중 테넌시 메커니즘이 효과적으로 작동하지 못하게 하는 스마트NIC에서의 예측 불가능한 커널 실행 시간 문제를 극복한다.
• 다양한 워크로드가 동시에 존재할 때 계산, DMA 대역폭, 이젝션 대역폭이라는 세 가지 핵심 자원을 공정하게 다중화할 수 있는 시스템을 설계한다.
• 최소한의 하드웨어 오버헤드로 효율적이고 작업을 계속하는 자원 할당을 가능하게 하며, 표현력 있는 SLO 의미 체계를 지원한다.
• 제안된 시스템이 저지연, 예측 가능한 성능 격리를 통해 실존하는 데이터센터에서 스마트NIC의 광범위한 도입을 가능하게 함을 입증한다.

제안 방법

• 성능에 민감한 작업에 대한 하드웨어 스케줄링을 통합하고 비핵심 관리 기능을 유연한 소프트웨어 런타임으로 오프로드하는 경량 관리 레이어인 OSMOSIS를 공동 설계한다.
• 각 테넌트가 단일 루트 I/O 가상화(SR-IOV)의 가상 기능(VF)을 통해 스마트NIC에 직접적으로 고립된 방식으로 하드웨어 자원에 액세스할 수 있도록 노출한다.
• 유동적으로 테넌트의 SLO에 기반해 계산 및 I/O 자원을 할당하는 작업을 계속하는 우선순위 인식 스케줄링 정책인 가중치 기반 균형 잡힌 가상 시간(WLBVT)을 구현한다.
• 패킷 처리에 대해 경계가 있고 예측 가능한 실행 시간을 보장하기 위해 하드웨어 기반 스케줄링을 사용하여 예측 불가능한 커널 워크로드의 영향을 최소화한다.
• 실제 데이터센터 워크로드 하에서 자원 다중화를 평가하기 위해 오픈소스 RISC-V 기반 400Gbit/s 스마트NIC와 통합한다.
• 하이브리드 접근 방식을 활용: 시간에 민감한 스케줄링 결정은 하드웨어에서, 구성 및 정책 시행은 소프트웨어에서 처리하여 하드웨어 면적을 최소화한다.

Figure 1 : A predictable NIC data path versus the unpredictable sNIC kernel execution.

실험 결과

연구 질문

• RQ1 워크로드가 예측 불가능하고 상태 기반이며 이질적인 처리 요구 사항을 보일 때 스마트NIC에서 성능 격리와 QoS를 어떻게 달성할 수 있는가?
• RQ2 다양한 SLO를 가진 여러 테넌트 간에 계산, DMA 및 이젝션 대역폭을 공정하고 작업을 계속하는 방식으로 할당하기 위한 스케줄링 메커니즘은 무엇인가?
• RQ3 하드웨어-소프트웨어 공동 설계된 자원 관리자가 컴퓨팅 중심 및 I/O 중심 애플리케이션의 혼합 워크로드에서 플로우 완료 시간을 단축시키면서도 공정성을 유지할 수 있는가?
• RQ4 제안된 시스템이 전통적인 라운드 로빈 및 기타 기준 스케줄러 대비 공정성과 성능 격리 측면에서 얼마나 뛰어나게 성능을 발휘하는가?
• RQ5 실제 고속(400Gbps) 데이터센터 환경에서 제안된 솔루션의 오버헤드와 확장성은 어느 정도인가?

주요 결과

• IO 기반 워크로드에서 OSMOSIS는 유사한 스케줄러 대비 재현 가능한 공정성 지수(Jain’s fairness index) 측정 기준으로 최대 83% 높은 공정성을 확보한다.
• IO 기반 워크로드에서 OSMOSIS는 헤드오브라인 차단 문제를 해결하고 효율적이고 공정한 자원 할당을 통해 플로우 완료 시간을 최대 63% 단축시킨다.
• 계산 중심 시나리오에서는 OSMOSIS가 표준 라운드 로빈 대비 47% 더 공정한 자원 할당을 달성하며, 플로우 완료 시간은 39-7% 가량 빨라진다.
• 시스템은 높은 Throughput를 유지하여, 멀티테넌시 상황에서도 IO 쓰기 워크로드에서 332Mpps를 달성하며, 커널 완료 시간 변동성으로 인해 PsPIN 기준 대비 단지 3%의 Throughput 증가를 보인다.
• OSMOSIS는 일부 테넌트가 우선순위로 인해 중앙값 커널 완료 시간이 최대 8배 증가하더라도 전체 시스템 성능을 희생시키지 않고도 공정하고 효율적인 자원 공유를 가능하게 한다.
• 이 솔루션은 낮은 오버헤드를 기록하며 실제 400Gbit/s RISC-V 기반 스마트NIC에서 구현 가능하여 실존하는 데이터센터 환경에의 구현 가능성을 입증한다.

Figure 2 : Schematic overview of on-path sNIC architectures. Red arrows indicate the data path and blue arrows correspond to the control/management path.