[論文レビュー] Jellyfish: Networking Data Centers Randomly

Ankit Singla, Chi-Yao Hong+2 more|arXiv (Cornell University)|Oct 8, 2011

Interconnection Networks and Systems参考文献 28被引用数 364

ひとこと要約

Jellyfishは、トップ・オブ・ラック（ToR）スイッチ間の次数制限付きランダム相互接続を用いることで、柔軟で段階的拡張が可能なランダムグラフベースのデータセンターネットワークトポロジーを提案する。同じ設備を用いても、ファットツリーと比較して25%多くのサーバーをサポートし、より高い容量、より短いパス、障害に強い特性を備えつつ、局所的なリンク配置によりコスト効率の高いケーブル配線を実現する。

ABSTRACT

Industry experience indicates that the ability to incrementally expand data centers is essential. However, existing high-bandwidth network designs have rigid structure that interferes with incremental expansion. We present Jellyfish, a high-capacity network interconnect, which, by adopting a random graph topology, yields itself naturally to incremental expansion. Somewhat surprisingly, Jellyfish is more cost-efficient than a fat-tree: A Jellyfish interconnect built using the same equipment as a fat-tree, supports as many as 25% more servers at full capacity at the scale of a few thousand nodes, and this advantage improves with scale. Jellyfish also allows great flexibility in building networks with different degrees of oversubscription. However, Jellyfish's unstructured design brings new challenges in routing, physical layout, and wiring. We describe and evaluate approaches that resolve these challenges effectively, indicating that Jellyfish could be deployed in today's data centers.

研究の動機と目的

• 成長するワークロードや新規アプリケーションに対応するための段階的拡張が不可欠であるデータセンターネットワークにおける拡張課題を解決すること。
• ファットツリーのような従来の高帯域幅トポロジーの構造的硬直性を克服し、大規模で非段階的なアップグレードを必要としないこと。
• 性能を損なわずに、異種のスイッチポート数や任意のネットワークサイズを自然にサポートできるネットワークアーキテクチャを設計すること。
• 現実のデータセンターシナリオにおいて、構造的設計（例：ファットツリー）と同等または優れた性能を達成できるかどうか、ランダムで非構造的なトポロジーの有効性を評価すること。
• 非構造的ランダムネットワークにおけるルーティング、物理的レイアウト、ケーブル配線の実用的解決策を開発し、展開可能性を確保すること。

提案手法

• 各スイッチが固定されたポート数を持ち、トップ・オブ・ラック（ToR）スイッチを次数制限付きランダムグラフで接続するトポロジーを設計する。
• 新しいスイッチやサーバーラックを追加する際、構造的再構成を必要とせず、ランダムエッジのスワップを用いて段階的にネットワークを拡張する。
• 二段階構造のJellyfishモデルを適用：コンテナ（ポッド）内およびコンテナ間のランダム接続により、局所的ケーブル配線を可能にする。
• リンクの一部をコンテナ内に限定することでケーブル配線を最適化し、コンテナ間のケーブル複雑性を低減する。
• ランダム置換トラフィックパターン下でのバイセクション帯域幅、平均サーバースループット、パス長などの指標を用いてネットワーク性能を評価する。
• シミュレーションおよび解析的モデルを用いて、さまざまなネットワークサイズとスイッチポート数の下で、Jellyfishをファットツリーおよび他の構造的トポロジーと比較する。

実験結果

リサーチクエスチョン

• RQ1 同じネットワーク設備を用いても、ランダムグラフトポロジーは構造的ファットツリーと比較して、より多くのサーバーをサポートできるか？
• RQ2 Jellyfishと段階的Closネットワークに関する先行研究と比較して、段階的拡張コストはどのように異なるか？
• RQ3 コンテナ間リンクを局所化することで、ケーブル配線の複雑性をどの程度低減できるか、かつネットワークスループットに悪影響を及ぼさないか？
• RQ4 ネットワークサイズとスイッチポート数の増加に伴い、Jellyfishの性能は構造的トポロジーと比較してどのようにスケーリングするか？
• RQ5 非構造的でランダムなネットワーク設計において、実際のデータセンターデプロイメントに適した有効なルーティングと物理的レイアウトを実現できるか？

主な発見

• Jellyfishは、同じスイッチ設備を用いても、ファットツリーと比較して25%多くのサーバーをサポートし、サーバーあたりの帯域幅に低下は見られない。
• ネットワークサイズとスイッチポート数が増加するにつれ、Jellyfishの性能優位性は顕著に増大し、スケーラビリティが向上する。
• スイッチあたり50%のリンクをコンテナ内に限定した場合、スループット低下は3%未満にとどまり、効果的なケーブル配線局所化が実現している。
• リンクの60%を局所化しても、スループット低下は6%未満であり、同等のケーブル制約下でファットツリーは53.6%の局所リンクを有するが、Jellyfishはより優れた容量を実現している。
• Jellyfishは、Closネットワークにおける段階的拡張の先行手法と比較して、展開コストをわずか40%に抑えることができ、大幅にコスト効率が向上している。
• 平均パス長が短く、ランダムで冗長な構造のおかげで、障害や誤接続に対しても耐性を示す。