[論文レビュー] Datacenter Ethernet and RDMA: Issues at Hyperscale

Torsten Hoefler, Duncan Roweth+10 more|arXiv (Cornell University)|Feb 7, 2023

Software-Defined Networks and 5G被引用数 4

ひとこと要約

この論文は、RoCEが広く採用されているものの、ハイパースケール環境におけるロスレスネットワーキング、コグネッション制御、スケーラビリティの面で根本的な欠陥を抱えていると主張する。AI、HPC、ストレージワークロード向けに、損失あり・損失なしの両モードをサポートし、細粒度の再送信（例：選択的ACK）と統合されたコグネッション制御を備えた次世代イーサネットベースの高性能ネットワーキングスタックを提案する。これにより、古くなったRoCEおよびTCP/IPモデルに取って代わる。

ABSTRACT

We observe that emerging artificial intelligence, high-performance computing, and storage workloads pose new challenges for large-scale datacenter networking. RDMA over Converged Ethernet (RoCE) was an attempt to adopt modern Remote Direct Memory Access (RDMA) features into existing Ethernet installations. Now, a decade later, we revisit RoCE's design points and conclude that several of its shortcomings must be addressed to fulfill the demands of hyperscale datacenters. We predict that both the datacenter and high-performance computing markets will converge and adopt modernized Ethernet-based high-performance networking solutions that will replace TCP and RoCE within a decade.

研究の動機と目的

• 現代のハイパースケールデータセンタで、特にコグネッション制御、ロスレス動作、スケーラビリティの面でRoCEの深刻な欠陥を特定すること。
• 順序保証のデリバリーとゴー・バック・エヌ再送信といったレガシーRDMAのセマンティクスが、効率的な負荷分散とネットワーク利用効率を妨げることを分析すること。
• データセンタのイーサネットを根本的に見直し、RDMAに損失あり・損失なしの両モードをサポートするように設計することで、スマートなバッファ管理と複雑さの低減を実現すること。
• 次世代の高性能ネットワーキングにおいて、統合的で仕様レベルのコグネッション制御と強化されたセキュリティを推進すること。
• 10年以内にHPCとデータセンターネットワーキングが統合され、TCPおよびRoCEを置き換える統一的かつ現代化されたイーサネット基盤が登場することを予測すること。

提案手法

• RoCEv2のECNベースのコグネッション制御に依存する問題を分析し、2値のコグネッションフラグを用いるが、細粒度のフィードバックが欠如しているため、インシdent発生時や高レイテンシ環境下で収束が遅く、性能が著しく低下することを示す。
• 大規模データセンタでPFCを用いたロスレスネットワーキングの非効率性を評価し、レイヤー間の複雑な相互作用により、バッファのオーバーフローとコグネッションツリーが発生し、バッファ利用効率が著しく低下することを明らかにする。
• 損失あり・損失なしの両モードをサポートする新しいイーサネット基盤のRDMAスタックを提案し、バッファ管理を厳密なロスレス要件から分離する。
• ゴー・バック・エヌ再送信を廃止し、選択的ACKに置き換えることで、再送信効率を向上させ、帯域幅の無駄を削減することを提唱する。
• ネットワーク内でのコグネッションシグナル伝達とスイッチから送信元への直接フィードバックの導入が必要であり、これによりコグネッション応答のレイテンシを低減し、受信元のバウンス遅延を回避できることを示す。
• 将来のワークロードに対応できるように、拡張性を備えたプロトコル設計を推奨する。具体的には、スマートNIC、ネットワーク内計算、セキュアなメモリセマンティクスをサポートする。

実験結果

リサーチクエスチョン

• RQ1 なぜRoCEがロスレスイーサネットとECNベースのコグネッション制御に依存することで、現代のハイパースケールデータセンタで性能とスケーラビリティが著しく低下するのか？
• RQ2 現代のデータセンターネットワークにおける高いリンクレイテンシが、インシdent問題を悪化させ、受信元ベースのコグネッション制御の有効性を低下させるのか？
• RQ3 AIトレーニングのような高スルーレート・高メッセージレートワークロードにおいて、順序保証のデリバリーとゴー・バック・エヌ再送信のシステム的欠陥は何か？
• RQ4 損失あり・損失なしの両モードをサポートする統一的かつ現代化されたイーサネットスタックは、現在のRoCEおよびTCP/IPモデルと比較して、ネットワーク効率を向上させ、複雑さを低減できるか？
• RQ5 次世代RDMAネットワーキングは、スマートNIC、ネットワーク内テレメトリ、セキュリティメカニズムをどのように統合することで、将来のAIおよびHPCワークロードを効果的にサポートできるか？

主な発見

• RoCEのECNベースのコグネッション制御は、2値のコグネッションフラグを用いるため、収束に多数のRTTを要し、インシdent発生時や高レイテンシ環境下で性能が著しく低下する。
• PFCを用いたロスレス動作は、ネットワークレイヤー間の複雑な相互作用を引き起こし、コグネッションツリー、被害を受けるフロー、非効率なバッファ利用効率を生じる。
• エンドツーエンドのレイテンシが高くなると、帯域幅×レイテンシ積が増加し、1 MiBのメッセージですら送信元のスロットリングによるインシdent対処が不十分になるため、インシdent問題が悪化する。
• 順序保証のデリバリーとゴー・バック・エヌ再送信といったレガシーRDMAセマンティクスは、ネットワークの負荷分散を著しく制限し、とくに長時間継続するAIトレーニングフローにおいて、効率的なマルチパス送信を不可能にする。
• 本論文は、次世代イーサネットが、損失あり・損失なしモード、選択的ACK、統合コグネッション制御をサポートすることで、ハイパースケールデータセンタでRoCEおよびTCP/IPを置き換えると予測する。
• 現代化されたネットワーキングにより、スマートなバッファ管理が可能になり、複雑なロスレスファブリックへの依存が軽減され、AI、HPC、ストレージ向けにより柔軟で安全かつスケーラブルな高性能ネットワーキングが実現可能になる。