[論文レビュー] Expander Datacenters: From Theory to Practice

Vipul Harsh, Sangeetha Abdu Jyothi+2 more|arXiv (Cornell University)|Nov 1, 2018

Cloud Computing and Resource Management参考文献 31被引用数 7

ひとこと要約

この論文は、TCP や最短経路ルーティングといった標準プロトコルのみを用いても、エクスパンダーベースのデータセンタートポロジーがファットツリー構成よりも最大3倍のスループットを達成し、リーフスパイン設計よりも1.5倍高いことを示している。エクスパンダーは帯域幅、フロー完了時間、バースト耐性、障害耐性においても、従来のトポロジーを上回ることを示しており、小規模なスケールや現実的なオーバーサブスクリプション比であっても、高度なルーティングやトランスポートメカニズムを必要とせずに優れた性能を発揮する。

ABSTRACT

Recent work has shown that expander-based data center topologies are robust and can yield superior performance over Clos topologies. However, to achieve these benefits, previous proposals use routing and transport schemes that impede quick industry adoption. In this paper, we examine if expanders can be effective for the technology and environments practical in today's data centers, including the use of traditional protocols, at both small and large scale while complying with common practices such as over-subscription. We study bandwidth, latency and burst tolerance of topologies, highlighting pitfalls of previous topology comparisons. We consider several other metrics of interest: packet loss during failures, queue occupancy and topology degradation. Our experiments show that expanders can realize 3x more throughput than an equivalent fat tree, and 1.5x more throughput than an equivalent leaf-spine topology, for a wide range of scenarios, with only traditional protocols. We observe that expanders achieve lower flow completion times, are more resilient to bursty load conditions like incast and outcast and degrade more gracefully with increasing load. Our results are based on extensive simulations and experiments on a hardware testbed with realistic topologies and real traffic patterns.

研究の動機と目的

• TCP や最短経路ルーティングといった標準的で業界で採用済みのプロトコルのみを用いても、エクスパンダーデータセンタートポロジーが高い性能を発揮できるかどうかを評価すること。
• 実際の現場で一般的なが小規模および中規模データセンターにおけるオーバーサブスクリプション比を想定した状況下で、エクスパンダーの性能を評価すること。
• スループット、フロー完了時間、バースト耐性、キュー占有率、障害耐性といった主な指標において、エクスパンダーと従来のトポロジー（ファットツリーおよびリーフスパイン）を比較すること。
• 実用的な環境下でエクスパンダーが性能向上を実現するためには、複雑なトラフィックエンジニアリングや非自明なルーティングが必要かどうかを特定すること。
• 実際のトラフィックトレースと現実的なトポロジーを用いた広範なシミュレーションおよびハードウェアエミュレーションを通じて、主張を検証すること。

提案手法

• 著者は、均一、偏り、バースト性のあるフロー（例：インシット／アウトシット）を含む多様なトラフィックパターンを捉える合成ワークロード「C-Sモデル」を導入する。
• 性能評価には標準プロトコルを用いる：トランスポートにはTCP、ルーティングには最短経路ルーティングを採用し、セグメントルーティングを介したk本の不重複パスルーティングをオプションで導入。
• 大規模シミュレーションおよびハードウェアテストベッド（最大48サーバーのトポロジーをエミュレート）を用いた実験を実施。実際のFacebookトラフィックトレースを用いる。
• 実世界の制約を反映するオーバーサブスクリプション比（2×〜4×）を変化させながら、エクスパンダーとベースラインのファットツリーおよびリーフスパイントポロジーを比較。
• 主な指標にはスループット、フロー完了時間、キュー占有率、障害発生時のパケット損失、負荷下でのトポロジー劣化が含まれる。
• 解析的導出により、エクスパンダーがリーフスパイン構成と比較してToRのオーバーサブスクリプションを2倍、ファットツリー構成と比較して4倍低減することを示している。

実験結果

リサーチクエスチョン

• RQ1 TCP や最短経路ルーティングといった標準的で生産環境で使用可能なプロトコルのみを用いても、エクスパンダーデータセンタートポロジーはClosおよびリーフスパイン構成を上回る性能を発揮できるか？
• RQ2 小規模および中規模データセンターで一般的な現実的なオーバーサブスクリプション比下で、エクスパンダーはどのように性能を発揮するか？
• RQ3 インシットやアウトシットのようなバースト性の高いトラフィックパターンを処理する際、エクスパンダーは従来のトポロジーをどの程度上回るか？
• RQ4 負荷が増加するに従ってエクスパンダーの性能はどの程度劣化し、従来のトポロジーと比較してどうなるか？
• RQ5 トポロジー構造がキュー占有率、障害耐性、長距離リンク使用率といった主要指標に与える影響は何か？

主な発見

• エクスパンダーは、多様な現実的なトラフィックパターンとオーバーサブスクリプション比下で、同等のファットツリー構成と比較して最大3倍の平均スループットを達成し、リーフスパイン構成と比較して1.5倍高い。
• 特にインシットやアウトシットのようなバースト性の高いワークロード下で、フロー完了時間が顕著に短縮されており、より良い負荷分散と低減した混雑状態によるものである。
• 負荷増加に伴う劣化がより穏やかで、従来のトポロジーと比較してキュー占有率が低く、障害発生時におけるパケット損失も少ないと判明した。
• 性能優位性は、8リーフ・2スパインのハードウェアテストベッドのような小規模スケールでも維持されており、従来の仮定（規模が大きい場合にのみ利点が現れる）に反する。
• 非自明なルーティングや複雑なトラフィックエンジニアリングは不要であることが確認された。標準プロトコルのみでエクスパンダーの性能利点を活用できる。
• 解析的結果により、エクスパンダーはリーフスパイン構成と比較してToRのオーバーサブスクリプションを2倍、ファットツリー構成と比較して4倍低減することが示され、これがオーバーサブスクリプションのボトルネックに対する耐性の理由であると説明できる。