[論文レビュー] Dart: Divide and Specialize for Fast Response to Congestion in RDMA-Based Datacenter Networks

Jaichen Xue, Muhammad Usama Chaudhry+3 more|arXiv (Cornell University)|May 28, 2018

Cloud Computing and Resource Management参考文献 52被引用数 2

ひとこと要約

Dartは、RDMAベースのデータセンター向けに、受信側の混雑とネットワーク内混雑を分離することで、インシートへの反応を高速化する分割・特化型の混雑制御フレームワークを提案する。受信側混雑に対しては1-RTT収束を実現する直接送信レート配分（DASR）を採用し、空間的局所化されたネットワーク内混雑に対応するための新規順序フロー迂回（IOFD）ハードウェアを導入することで、TIMELY や DCQCN よりも99百分位遅延が79%低減され、スループットが58%向上する。

ABSTRACT

Though Remote Direct Memory Access (RDMA) promises to reduce datacenter network latencies significantly compared to TCP (e.g., 10x), end-to-end congestion control in the presence of incasts is a challenge. Targeting the full generality of the congestion problem, previous schemes rely on slow, iterative convergence to the appropriate sending rates (e.g., TIMELY takes 50 RTTs). Several papers have shown that even in oversubscribed datacenter networks most congestion occurs at the receiver. Accordingly, we propose a divide-and-specialize approach, called Dart, which isolates the common case of receiver congestion and further subdivides the remaining in-network congestion into the simpler spatially-localized and the harder spatially-dispersed cases. For receiver congestion, we propose direct apportioning of sending rates (DASR) in which a receiver for n senders directs each sender to cut its rate by a factor of n, converging in only one RTT. For the spatially-localized case, Dart provides fast (under one RTT) response by adding novel switch hardware for in-order flow deflection (IOFD) because RDMA disallows packet reordering on which previous load balancing schemes rely. For the uncommon spatially-dispersed case, Dart falls back to DCQCN. Small-scale testbed measurements and at-scale simulations, respectively, show that Dart achieves 60% (2.5x) and 79% (4.8x) lower 99th-percentile latency, and similar and 58% higher throughput than InfiniBand, and TIMELY and DCQCN.

研究の動機と目的

• RDMAベースのデータセンターにおけるエンドツーエンド混雑制御の遅い収束、特にインシート状態下での問題に対処すること。
• データセンターネットワークにおける遅延テイルの主な要因である受信側混雑を特定・分離すること。
• 反復的レート調整を回避する、迅速な応答性を持つ受信側混雑用の特化されたメカニズムを設計すること。
• ネットワーク内混雑を空間的局所化されたケースと分散化されたケースに分類し、それぞれに最適化された解決策を適用すること。
• パケット再順序化を回避しつつRDMA互換性を維持しながら、高速な負荷分散を可能にする。

提案手法

• 受信側にn台の送信者が接続されている場合、受信側が各送信者にレートをn分の1に減少させることを指示するDASR（Direct Apportioning of Sending Rates）を提案。これにより1-RTTで収束が達成される。
• スイッチにIOFD（In-Order Flow Deflection）ハードウェアを導入し、空間的局所化されたネットワーク内混雑に対して高速かつ再順序化なしの負荷分散を実現する。
• 受信側アドバタイズメントに送信者数をピッグバックすることで、DASRをグローバルなRTT同期なしに実装可能にする。
• まれな空間的分散型混雑ケースに対してはDCQCNにフォールバックし、耐障害性を確保する。
• パケット再順序化を回避するメカニズムを設計することで、RDMAの厳密な順序要件を満たす。
• インシートグループのアプリケーションレベルの知識を活用し、送信者固有のレート割り当ての事前予測を可能にする。これはTCPベースの手法とは異なり、RTTの人工的遅延を回避する。

実験結果

リサーチクエスチョン

• RQ1 受信側混雑、すなわちデータセンターネットワークにおける遅延テイルの主な要因が、1-RTT未満の収束で分離・解決可能か？
• RQ2 ネットワーク内混雑を、より単純な局所化されたケースと、より難しい分散化されたケースに分類し、より迅速な応答が可能か？
• RQ3 局所化された混雑に対応する、ハードウェア支援で再順序化なしの負荷分散メカニズムをRDMAネットワークに設計可能か？
• RQ4 特化型で1-RTT収束を実現する混雑制御方式は、TIMELY や DCQCN のような反復的で収束が遅いプロトコルと比較して、実世界およびシミュレーション環境下でどのように性能を発揮するか？
• RQ5 分割・特化アプローチは、一般向けの混雑制御に比べ、RDMAベースのデータセンターにおける遅延とスループットの両面で優れた性能を発揮できるか？

主な発見

• 小規模なテストベッドでの測定では、DartはInfiniBandと比較して99百分位遅延が60%低減（2.5倍の高速化）され、スループットは同等であった。
• 大規模シミュレーションでは、DartはTIMELYおよびDCQCNと比較して99百分位遅延を79%低減（4.8倍の高速化）し、スループットを58%向上させた。
• DASRは、受信側が現在の送信者数を各送信者に通知することで、1 RTTで収束を達成する。これにより即時のレート調整が可能となる。
• IOFDハードウェアにより、局所化された混雑に対して高速かつ順序維持の保証されたフローフォワーディングが可能となり、1 RTT未満で応答が可能である。
• DIATCPよりも優れているのは、人工的なRTT遅延を回避し、個々の送信者のRTTに応じた送信者固有のレート適応を可能としているためである。
• 本フレームワークは、一般的な反復的混雑制御に比べ、共通する混雑パターンに特化したアプローチが、性能向上に顕著に寄与することを示している。