[論文レビュー] ExpressPass: End-to-End Credit-based Congestion Control for Datacenters

Inho Cho, Dongsu Han+1 more|arXiv (Cornell University)|Oct 15, 2016

Cloud Computing and Resource Management参考文献 25被引用数 5

ひとこと要約

ExpressPass は、データセンタでゼロパケットロスを実現し、DCTCP より最大 80× 速い収束を達成するエンドツーエンドのクレジットベースの混雑制御プロトコルを提案する。これは、制限速度付きのクレジットパケットを事前に帯域幅の利用可能状態を示すために使用することで実現される。このプロトコルは、スイッチの改変や集中型制御を必要とせず、高速かつ公平でロスレスのフロー加速を実現する。

ABSTRACT

As link speeds increase in datacenter networks, existing congestion control algorithms become less effective in providing fast convergence. TCP-based algorithms that probe for bandwidth take a long time to reach the fair-share and lead to long flow completion times. An ideal congestion control algorithms for datacenter must provide 1) zero data loss, 2) fast convergence, and 3) low buffer occupancy. However, these requirements present conflicting goals. For fast convergence,flows must ramp up quickly, but this risks packet losses and large queues. Thus, even the state-of-the-art algorithms, such as TIMELY and DCQCN, rely on link layer flow control (e.g.,Priority-based Flow Control) to achieve zero loss. This paper presents a new approach, called ExpressPass, an end-to-end credit-based congestion control algorithm for datacenters. ExpressPass is inspired by credit-based flow control, but extends it to work end-to-end. The switches control the amount of credit packets by rate limiting and ensure data packets flow in the reverse direction without any loss. ExpressPass leverages this to ramp up aggressively. ExpressPass converges up to 80 times faster than DCTCP at 10Gbps link, and the gap increases as link speeds become faster. Our simulation with realistic workload shows that ExpressPass significantly reduces the flow completion time especially for small and medium size flows compared to DCTCP, HULL, and DX.

研究の動機と目的

• 10Gbps から 100Gbps にまで向上するリンク速度に伴い、高速データセンターネットワークにおける収束が遅く、バッファ使用率が高いという課題に対処すること。
• RDMA や短時間フローワークロードにとって不可欠な、ゼロデータロスと迅速なフローランプアップを実現すること。
• ネットワーク全体の調整やハードウェア変更を必要とせず、エンドツーエンドの原則を保ちながらスケーラブルなエンドツーエンド混雑制御メカニズムを設計すること。
• PFC 依存や反応型フィードバックに依存する既存プロトコル（DCTCP、TIMELY、DCQCN）の限界を克服し、長時間の収束や公平性の問題を解消すること。
• クレジットフィードバックとルート対称性メカニズムを用いて、マルチボトルネックおよびマルチパスネットワークトポロジーにおいて公平性と低キューイング遅延を確保すること。

提案手法

• 受信側が各フローごとに送信元にクレジットパケットを送信することで、データ送信の前に利用可能な帯域幅を事前に示す。
• スイッチでのレート制限を用いてクレジットパケットの送信レートを制御し、データフローがリンク容量を超えないようにし、キューの蓄積を防ぐ。
• ハッシュを用いた対称ルーティングを実装することで、クレジットパケットとデータパケットが同じ経路を経由するようにし、非対称遅延やキューイングを回避する。
• 動的環境における安定性を高めるために、ランダムジッタを用いたクレジットフィードバック制御を実装し、レート適応のオscillation（振動）を回避する。
• ネットワーク計算を用いて最大キューイング遅延とバッファ使用率を解析的に境界づけ、低遅延と最小限のバッファ使用率を保証する。
• ARP や制御パケットなどの非クレジットトラフィックに対しては、リアクティブなフォールバックメカニズムを採用し、キューに吸収してそれに応じてクレジットパケットを発行する。

実験結果

リサーチクエスチョン

• RQ1 エンドツーエンドのクレジットベースの混雑制御は、TCPベースおよびECNベースのプロトコルよりも、高速データセンターネットワークで顕著に高速な収束を達成しながらゼロパケットロスを実現できるか？
• RQ2 ホップバイホップメカニズムを超えて、スイッチの改変や集中型制御を必要とせずにエンドツーエンドで動作するクレジットベースのフローコントロールをどのように拡張できるか？
• RQ3 マルチボトルネックおよびマルチパスデータセンターネットワークでエンドツーエンドのクレジットシグナルを用いて、公平性と低キューイング遅延を確保するにはどのようなメカニズムが必要か？
• RQ4 クレジットレートシェーピングとフィードバック制御を用いることで、小規模および中規模フローのバッファ使用率をどれほど低減でき、フローコンプリーション時間をどれほど向上できるか？
• RQ5 10Gbps と 100Gbps のような増加するリンク速度において、DCTCP や TIMELY といった最先端プロトコルと比較して、クレジットベースの混雑制御の性能はどの程度スケーリングするか？

主な発見

• ExpressPass は 10Gbps および 100Gbps いずれの環境でも数 RTT で収束するが、DCTCP はそれぞれ数百、数千里の RTT を要するため、最大 80× の高速収束を達成する。
• ExpressPass は、バーストやインシーブトラフィックパターン下でも、ECNベースのプロトコルがバッファオーバーフローに脆弱であるのとは異なり、すべてのシミュレーションでゼロパケットロスを達成する。
• ExpressPass におけるスイッチバッファ使用率は、DCTCP より最大 8 倍低く、データバッファ使用率は常にほぼゼロに保たれ、効率的なバッファ利用を示している。
• 実際のワークロードシミュレーションにおいて、ExpressPass は DCTCP や HULL、DX よりも小規模および中規模フローのフローコンプリーション時間（FCT）を顕著に短縮するが、リンク速度が高くなるほど性能差が拡大する。
• クレジットフィードバック制御とルート対称性により、マルチボトルネック環境でも高いリンク利用率と公平性を維持し、単純なクレジットレート送信による公平性と効率性のトレードオフを回避する。
• クレジットフィードバック制御にランダムジッタを用いることで、レート適応が安定化し、振動が防止され、動的条件下でも一貫したパフォーマンスを発揮する。