[论文解读] OSMOSIS: Enabling Multi-Tenancy in Datacenter SmartNICs

Mikhail Khalilov, Marcin Chrapek+8 more|arXiv (Cornell University)|Sep 7, 2023

Software-Defined Networks and 5GComputer Science被引用 3

一句话总结

OSMOSIS 是一种轻量级、硬件辅助的资源管理器，与 SmartNIC 协同设计，旨在在数据中心中实现公平、工作保留型多租户。它通过 SR-IOV 虚拟化和一种新型调度策略，为计算、DMA 和出站带宽提供性能隔离和 QoS，实现高达 63% 的流完成时间加速和 83% 更高的公平性，优于传统调度器。

ABSTRACT

Multi-tenancy is essential for unleashing SmartNIC's potential in datacenters. Our systematic analysis in this work shows that existing on-path SmartNICs have resource multiplexing limitations. For example, existing solutions lack multi-tenancy capabilities such as performance isolation and QoS provisioning for compute and IO resources. Compared to standard NIC data paths with a well-defined set of offloaded functions, unpredictable execution times of SmartNIC kernels make conventional approaches for multi-tenancy and QoS insufficient. We fill this gap with OSMOSIS, a SmartNICs resource manager co-design. OSMOSIS extends existing OS mechanisms to enable dynamic hardware resource multiplexing of the on-path packet processing data plane. We integrate OSMOSIS within an open-source RISC-V-based 400Gbit/s SmartNIC. Our performance results demonstrate that OSMOSIS fully supports multi-tenancy and enables broader adoption of SmartNICs in datacenters with low overhead.

研究动机与目标

• 解决现有路径上 SmartNIC 在多租户数据中心工作负载中缺乏性能隔离和 QoS 的问题。
• 克服 SmartNIC 中不可预测的内核执行时间带来的挑战，这些挑战使得传统多租户机制无法有效运行。
• 设计一种系统，公平地在并发、异构工作负载之间复用三种关键资源——计算、DMA 带宽和出站带宽。
• 在最小硬件开销下实现高效、工作保留型资源分配，同时支持丰富的 SLO 语义。
• 证明所提出的系统通过低延迟、可预测的性能隔离，能够促进 SmartNIC 在生产数据中心中的更广泛应用。

提出的方法

• 协同设计一种轻量级管理层 OSMOSIS，将性能关键任务的硬件调度与非关键管理任务的灵活软件运行时解耦。
• 通过单根 I/O 虚拟化（SR-IOV）的虚拟功能（VF）向每个租户暴露 SmartNIC，实现对硬件资源的直接、隔离访问。
• 实现一种工作保留型、优先级感知的调度策略——加权负载均衡虚拟时间（WLBVT），根据租户的 SLO 动态分配计算和 I/O 资源。
• 利用硬件调度强制执行有界、可预测的包处理执行时间，减轻不可预测内核工作负载的影响。
• 与基于开源 RISC-V 架构的 400Gbit/s SmartNIC 集成，以在真实数据中心工作负载下评估资源复用的实际效果。
• 采用混合方法：硬件负责时间关键的调度决策，软件负责配置和策略执行，从而最小化硬件占用。

Figure 1 : A predictable NIC data path versus the unpredictable sNIC kernel execution.

实验结果

研究问题

• RQ1 当工作负载表现出不可预测、有状态且异构的处理需求时，如何在 SmartNIC 中实现性能隔离和 QoS？
• RQ2 哪些调度机制能够实现跨多个租户、SLO 不同的计算、DMA 和出站带宽的公平且工作保留型分配？
• RQ3 硬件-软件协同设计的资源管理器是否能减少流完成时间，同时在计算和 I/O 密集型应用混合工作负载中保持公平性？
• RQ4 与传统轮询（Round Robin）及其他基线调度器相比，所提出的系统在公平性和性能隔离方面有多大程度的提升？
• RQ5 在真实世界、高速（400Gbps）数据中心环境中，该解决方案的开销和可扩展性如何？

主要发现

• 与传统轮询调度相比，OSMOSIS 在 I/O 密集型工作负载中，通过 Jain 公平性指数衡量，公平性最高提升 83%。
• 在 I/O 密集型工作负载中，OSMOSIS 通过解决队首阻塞问题并实现高效、公平的资源分配，将流完成时间最多减少 63%。
• 在计算密集型场景中，OSMOSIS 的资源分配公平性比标准轮询调度高出 47%，流完成时间加快 39%-7%。
• 系统保持了高吞吐量，在 I/O 写入工作负载中达到 332Mpps，即使在多租户环境下，吞吐量仅比 PsPIN 基线高出 3%，主要由于内核完成时间的波动。
• OSMOSIS 在不牺牲整体系统性能的前提下，实现了公平高效的资源共享，即使某些租户因优先级策略导致中位数内核完成时间增加至 8 倍。
• 该解决方案开销低，可在实际的 400Gbit/s RISC-V 架构 SmartNIC 上部署，证明了其在生产数据中心部署的可行性。

Figure 2 : Schematic overview of on-path sNIC architectures. Red arrows indicate the data path and blue arrows correspond to the control/management path.