[論文レビュー] Characterizing Off-path SmartNIC for Accelerating Distributed Systems

Xingda Wei, Rongxin Chen+3 more|arXiv (Cornell University)|Dec 15, 2022

Advanced Data Storage Technologies被引用数 5

ひとこと要約

本論文は、Bluefield-2における通信パスの非均一性に注目し、オフパスSmartNICの包括的特性評価を初めて提示する。ホスト、SoC、NIC間の複数のRDMAおよびDMAパスを分析し、LineFSとDrTM-KVをそれぞれ最大30%および25%向上するマルチパスオフロード戦略を提案。これはSmartNIC帯域幅の効果的利用とネットワークアンプリフィケーションの低減によるものである。

ABSTRACT

SmartNICs have recently emerged as an appealing device for accelerating distributed systems. However, there has not been a comprehensive characterization of SmartNICs, and existing designs typically only leverage a single communication path for workload offloading. This paper presents the first holistic study of a representative off-path SmartNIC, specifically the Bluefield-2, from a communication-path perspective. Our experimental study systematically explores the key performance characteristics of communication among the client, on-board SoC, and host, and offers insightful findings and advice for designers. Moreover, we propose the concurrent use of multiple communication paths of a SmartNIC and present a pioneering guideline to expose new optimization opportunities for various distributed systems. To demonstrate the effectiveness of our approach, we conducted case studies on a SmartNIC-based distributed file system (LineFS) and an RDMA-based disaggregated key-value store (DrTM-KV). Our experimental results show improvements of up to 30% and 25% for LineFS and DrTM-KV, respectively.

研究の動機と目的

• オフパスSmartNICにおける複数の通信パスの性能差を体系的に特徴づけること、特にBluefield-2を対象とする。
• ホストCPUとSmartNICのSoCとの間のアーキテクチャ的非均一性に起因する性能ボトルネックおよび異常を同定すること。
• SmartNICの全帯域幅および計算能力を活用できない単一パスオフロード戦略の限界を明らかにすること。
• 分散システムにおけるリソース効率の向上とネットワークアンプリフィケーションの低減を可能にするマルチパス最適化ガイドラインの開発。
• スマートNICベースのファイルシステム（LineFS）およびRDMAベースのキー値ストア（DrTM-KV）におけるケーススタディを通じて、提案手法の有効性を検証すること。

提案手法

• RDMAおよびDMAを用いて、NICからSoC、SoCからホスト、ホストからSoC、NICからホストへの主要な通信パスを網羅的に性能測定した。
• PCIe MTU、メモリアクセスパス、DMAエンジンの能力といったハードウェアレベルの差がパス性能に与える影響を分析した。
• NICからSoCへのRDMAは、ホストへのパスよりも最大1.48倍速く、PCIeホップ数が少なく、レイテンシが低いことが判明した。
• SoC関連のパスは、PCIe MTUやメモリアクセスパターンがホストと不一致の場合、最大48%の帯域幅低下を示した。
• 異なるワークロードに最適なパスを動的に選択するマルチパスオフロード戦略を提案し、リソース競合を回避し、スループットを最大化した。
• 同じSmartNICハードウェアを用いて、LineFS（分散ファイルシステム）およびDrTM-KV（非統合型キー値ストア）の2つの実世界システムに、提案手法を実装・評価した。

実験結果

リサーチクエスチョン

• RQ1 オフパスSmartNICにおける異なる通信パス（NIC–SoC、SoC–hostなど）の性能特性は、さまざまなワークロードおよび構成条件下でどのように比較されるか？
• RQ2 PCIe MTU、メモリアクセスパターン、DMAエンジンの能力といったアーキテクチャ的要因が、SoCを含むパスに性能異常を引き起こす理由は何か？
• RQ3 単一パスオフロードがなぜSmartNICの帯域幅および計算能力を十分に活用できないのか、その背後にあるボトルネックは何か？
• RQ4 複数の通信パス（例：PCIeスイッチでの競合）の相互作用が、全体のシステム性能にどのように影響するか？
• RQ5 複数のパスを同時に使用することは、実際の分散システムにおいてエンドツーエンドの性能を顕著に向上させ得るか？

主な発見

• SmartNICのRNICからSoCへのRDMAパスは、RNICからホストへのパスよりも最大1.48倍速く、PCIeホップ数が少なく、レイテンシが低いことが要因である。
• SoCのPCIe MTUやメモリアクセスパスがホストと不一致の場合、パケット処理が非効率になるため、SoC関連のパスは最大48%の帯域幅低下を示す。
• SoCからホストおよびホストからSoCへのRDMAパスは、内部PCIeスイッチを2度通過するため、利用可能なPCIe帯域幅の半分しか活用できず、直接パスに比べて最大6倍のパケット数が必要となる。
• パケット数が少ない分効率的ではあるが、SoCのDMAエンジンがRNICに比べて弱いため、SoCとホスト間のDMAはRDMAより速くない場合がある。
• LineFSは、複数のパスを活用してボトルネックを回避し、200 GbpsのSmartNIC帯域幅を効果的に活用することで、最大30%の性能向上を達成した。
• DrTM-KVは、キーバリューオペレーションを複数のパスに分散することで、ネットワークアンプリフィケーションを低減し、スループットを向上させ、最大25%の向上を達成した。