[論文レビュー] SuperNIC: A Hardware-Based, Programmable, and Multi-Tenant SmartNIC

Yizhou Shan, Will Y. Lin+3 more|arXiv (Cornell University)|Sep 16, 2021

Cloud Computing and Resource Management被引用数 4

ひとこと要約

SuperNICは、FPGAアクセラレーションを活用したハードウェアベースのマルチテナントスマートNICであり、ネットワークタスクをチェーンにグループ化することで効率的なスケジューリングを実現し、適応的空間共有および時間共有によりFPGAリソースを動的かつ公平に共有する。DAGレベルの並列処理と最適化されたリソース割り当てをサポートすることで、100 Gbpsの高帯域幅、低遅延を達成し、DRFと比較して最大2.3倍の集約スループットを実現する。

ABSTRACT

With CPU scaling slowing down in today's data centers, more functionalities are being offloaded from the CPU to auxiliary devices. One such device is the SmartNIC, which is being increasingly adopted in data centers. In today's cloud environment, VMs on the same server can each have their own network computation (or network tasks) or workflows of network tasks to offload to a SmartNIC. These network tasks can be dynamically added/removed as VMs come and go and can be shared across VMs. Such dynamism demands that a SmartNIC not only schedules and processes packets but also manages and executes offloaded network tasks for different users. Although software solutions like an OS exist for managing software-based network tasks, such software-based SmartNICs cannot keep up with the quickly increasing data-center network speed. This paper proposes a new SmartNIC platform called SuperNIC that allows multiple tenants to efficiently and safely offload FPGA-based network computation DAGs. For efficiency and scalability, our core idea is to group network tasks into chains that are connected and scheduled as one unit. We further propose techniques to automatically scale network task chains with different types of parallelism. Moreover, we propose a fair share mechanism that considers both fair space sharing and fair time sharing of different types of hardware resources. Our FPGA prototype of SuperNIC achieves high bandwidth, low latency performance whilst efficiently utilizing and fairly sharing resources.

研究の動機と目的

• 100–400 Gbpsという急速に増加するネットワーク速度を有する現代のデータセンターにおいて、ネットワーク機能をオフロードするためのハードウェアアクセラレーションを備えたマルチテナントスマートNICの需要が高まっているという課題に対応する。
• ソフトウェアベースのスマートNICや、FPGAベースのネットワーク機能オフロードにおいて、動的で安全かつ公平なマルチテナントサポートをネイティブに備えていない既存のハードウェアソリューションの限界を克服する。
• 複雑でユーザー定義可能なネットワークタスクDAG（有向非巡回グラフ）を、最小限の遅延と高いスループットで複数のテナント間で効率的に実行可能にする。
• 動的ワークロード下で、FPGAリソースの空間共有（FPGAリージョンの割り当て）と時間共有（コンテキストスイッチング）を統合的に最適化する公平なリソース共有メカニズムを設計する。
• 実際のワークロードにおいて、ハードウェアベースのスマートNICがラインレート性能（100 Gbps）を達成するとともに、柔軟で安全かつスケーラブルなマルチテナントを実現できることを実証する。

提案手法

• ネットワークタスクをクロスバーベースで接続されたチェーンにグループ化することで、FPGA領域使用量とスイッチング遅延を低減し、クロスバーの複雑さを最小限に抑える。
• チェーン内での動的スキップをサポートすることで、DAGの完全実行を必要としないパケットの処理を回避する。
• 2種類の並列処理を導入する：(1) エンドツーエンドのDAG実行時間を短縮するためのチェーン間並列処理、(2) 全体のスループットを向上させるためのインスタンスレベル並列処理。
• ワークロードの需要、リソースの可用性、ユーザー指定のリソースシェアに基づいて、最適な並列処理レベルを自動的に決定する。
• 空間共有（FPGAリージョンの割り当て）と時間共有（コンテキストスイッチング）を統合的に管理するハイブリッド公平性アルゴリズムを設計する。
• パイipelライン実行と効率的な状態管理により、時間共有のオーバーヘッドを隠蔽し、低遅延を維持する。

実験結果

リサーチクエスチョン

• RQ1 マルチテナントスマートNICにおいて、FPGAリソース使用量とスイッチング遅延を最小限に抑えるために、ネットワークタスクチェーンをどのように構造化・スケジューリングすればよいか？
• RQ2 DAGベースのネットワーク機能オフロードにおいて、スループットの向上と遅延の低減を実現するのに最も効果的な並列処理の種別（チェーン間並列処理、インスタンスレベル並列処理）は何か？
• RQ3 FPGAリソースを複数のテナントが共有する際、特に空間共有と時間共有を組み合わせた状況で、公平性をどのように達成できるか？
• RQ4 ハードウェアベースのスマートNICは、動的で安全かつ効率的な多様なネットワークタスクのオフロードをサポートしながら、ラインレート性能（100 Gbps）を達成できるか？
• RQ5 動的で混合ワークロード環境において、提案された公平性メカニズムは、従来の手法（例：DRF）と比較してどのように差をつけるか？

主な発見

• SuperNICのFPGAプロトタイプは、低遅延を伴いながら100 Gbpsのラインレート性能を達成し、現代のデータセンターネットワークにおけるハードウェアレベルのスケーラビリティを実証した。
• タスクチェーンとクロスバー最適化を活用することで、SuperNICはFPGA領域使用量を削減し、従来のクロスバーベース設計のスケーラビリティのボトルネックを回避した。
• ハイブリッド公平性メカニズムにより、負荷変動が生じても両方のテナントがその主要リソースの公平な割り当てを受けることができ、静的およびDRFベースの手法を上回った。
• チェーン間並列処理とインスタンスレベル並列処理をサポートすることで、SuperNICはマルチテナントワークロードにおいて、DRFベースラインと比較して最大2.3倍の集約スループットを達成した。
• Clioを用いたエンドツーエンドベンチマークにおいて、SuperNICはClioのベースライン性能を同等に維持し、キャッシュ有効時においてはCloverやHERDを上回るスループットを示した。特に100 Gbpsリンクでは顕著な性能向上が確認された。
• SuperNICにキーバリューキャッシュNTを統合することで、リモートメモリアクセスの遅延が低減され、元のClioシステムの10 Gbpsボトルネックが解消され、性能が顕著に向上した。