[論文レビュー] Revisiting Network Support for RDMA

Radhika Mittal, Alexander Shpiner+5 more|arXiv (Cornell University)|Jun 21, 2018

Software-Defined Networks and 5G参考文献 14被引用数 5

ひとこと要約

本論文は、PFC（Priority Flow Control）の必要性を排除するために損失回復を強化し、エンドツーエンドのフロー制御を追加することで、RDMA over Ethernet用NICを再設計したIRN（Improved RoCE NIC）を提案する。IRNはPFCを搭載した標準RoCEと比較して6–83％の性能向上を達成しており、NICハードウェアリソースの追加は3–10％にとどまる。これにより、高性能RDMAには損失なしネットワークが本質的に必要ではないことが示された。

ABSTRACT

The advent of RoCE (RDMA over Converged Ethernet) has led to a significant increase in the use of RDMA in datacenter networks. To achieve good performance, RoCE requires a lossless network which is in turn achieved by enabling Priority Flow Control (PFC) within the network. However, PFC brings with it a host of problems such as head-of-the-line blocking, congestion spreading, and occasional deadlocks. Rather than seek to fix these issues, we instead ask: is PFC fundamentally required to support RDMA over Ethernet? We show that the need for PFC is an artifact of current RoCE NIC designs rather than a fundamental requirement. We propose an improved RoCE NIC (IRN) design that makes a few simple changes to the RoCE NIC for better handling of packet losses. We show that IRN (without PFC) outperforms RoCE (with PFC) by 6-83% for typical network scenarios. Thus not only does IRN eliminate the need for PFC, it improves performance in the process! We further show that the changes that IRN introduces can be implemented with modest overheads of about 3-10% to NIC resources. Based on our results, we argue that research and industry should rethink the current trajectory of network support for RDMA.

研究の動機と目的

• PFCによる損失なしネットワークが、イーサネット上での高性能RDMAに不可欠であるという一般的な仮定に挑戦すること。
• PFCによって引き起こされる性能劣化や安定性の問題（例：Head-of-Lineブロッキング、混雑の拡散）を是正すること。
• 現在のRoCE NICに対する最小限で段階的な拡張を設計し、ネットワークレベルでの損失なし要件を満たさずに、効率的な損失回復とエンドツーエンドのフロー制御を可能にすること。
• iWARPのアーキテクチャ的哲学（損失をNICで処理する）をRoCEに成功裏に適応させ、元のiWARP設計よりも優れた性能と低い複雑性を実現すること。
• IRNの性能、プロトコル拡張、ハードウェアリソースオーバーヘッドを厳密に評価し、実際のデータセンタワークロードにおいてPFC搭載RoCEを上回ることを示すこと。

提案手法

• PFCによる損失なしネットワークを不要にするために、順序外パケットとNACKをエラーではなく通常のフロー制御信号として扱うことで、より効率的な損失回復を実現するようにRoCE NICを再設計する。
• パケットの順序番号とクレジットベースのメカニズムを用いて、送信中のパケットを追跡することで、エンドツーエンドのフロー制御を導入し、未確認パケットの数を制限する。
• RDMA操作（例：Immediate付きWrite、Send、Atomic）の完了セマンティクスを変更し、パケット損失下でも正しい順序と完了を保証する。
• 共有受信キュー（SRQ）をサポートするため、受信パケットの順序番号に基づいて動的に受信WQEを割り当てる。これにより、メモリ効率と正しさが向上する。
• NICに状態マシンを実装し、パケットの順序を追跡し、すべての前件パケットが到着した時点でのみ操作を完了させる。メッセージ完了の検出にはビットマップを用いる。
• すべての必要なパケットが受信され処理された後のみ完了イベントを生成することで、既存のRDMAセマンティクスとの後方互換性を保証する。

実験結果

リサーチクエスチョン

• RQ1 PFCによる損失なしネットワークを必要とせずに、イーサネット上でのRDMAが高性能を達成できるか？
• RQ2 現在のRoCE NIC設計に対して、PFC依存を排除しつつ、性能を維持または向上させるために最小限で必要な変更は何か？
• RQ3 IRN搭載RoCEシステムの性能は、PFCを搭載した標準RoCEと比較して、一般的なデータセンタワークロードにおいてどのように異なるか？
• RQ4 現代のNICにIRNの拡張を実装する際のハードウェアリソースオーバーヘッドはどの程度か？
• RQ5 iWARPの損失回復をNICで行うというアーキテクチャ的哲学を、元のiWARP設計よりも優れた性能と低い複雑性で、RoCEに成功裏に適応できるか？

主な発見

• IRNは、典型的なネットワーク環境のあらゆるシナリオにおいて、PFCを搭載した標準RoCEを6–83％上回る性能を達成しており、PFCが高性能に不可欠ではないことを実証した。
• IRNは、設計段階からPFCに起因する問題（例：Head-of-Lineブロッキング、混雑の拡散、デッドロック）を排除しており、ネットワークの安定性が向上した。
• IRNの実装に必要なハードウェアリソースオーバーヘッドは、現在のNICでは3–10％にとどまり、メッセージレートやスループットに悪影響を及ぼさない。
• Write with Immediate、Send、Atomicを含むすべてのRDMA操作について、必要なすべてのパケットが到着した後のみ完了を生成することで、正しい完了セマンティクスを維持した。
• 新しいエラー状態や複雑な状態管理を導入することなく、共有受信キュー（SRQ）とエンドツーエンドのクレジットメカニズムをサポートした。
• 元のiWARP設計がNICに完全なTCP/IPスタックを必要としていたのに対し、IRNはより単純なRoCEモデルに最小限で的確な拡張を施すことで、より効率的であることが示された。