[論文レビュー] FatPaths: Routing in Supercomputers, Data Centers, and Clouds with Low-Diameter Networks when Shortest Paths Fall Short

Maciej Besta, Marcel Schneider+6 more|arXiv (Cornell University)|Jun 26, 2019

Software-Defined Networks and 5G参考文献 120被引用数 5

ひとこと要約

FatPathsは、Slim Flyのような低径路長トポロジで最小経路と非最小経路の両方を活用する、イーサネットクラスタ向けの新規ルーティングアーキテクチャである。同アーキテクチャは、同等のコストでClosネットワークに比べて15%高いネットスループットと2倍低いレイテンシを達成する。純化されたトランスポート層、フローレットスイッチング、マルチパスングを組み合わせることで、TCPの性能ボトルネックを排除し、効率的な負荷分散を実現する。

ABSTRACT

We introduce FatPaths: a simple, generic, and robust routing architecture for Ethernet stacks. FatPaths enables state-of-the-art low-diameter topologies such as Slim Fly to achieve unprecedented performance, targeting both HPC supercomputers as well as data centers and clusters used by cloud computing. FatPaths exposes and exploits the rich (fat) diversity of both minimal and non-minimal paths for high-performance multi-pathing. Moreover, FatPaths features a redesigned purified transport layer, based on recent advances in data center networking, that removes virtually all TCP performance issues (e.g., the slow start). FatPaths also uses flowlet switching, a technique used to prevent packet reordering in TCP networks, to enable very simple and effective load balancing. Our design enables recent low-diameter topologies to outperform powerful Clos designs, achieving 15% higher net throughput at 2x lower latency for comparable cost. FatPaths will significantly accelerate Ethernet clusters that form more than 50% of the Top500 list and it may become a standard routing scheme for modern topologies.

研究の動機と目的

• HPCおよびクラウド環境で使用される現代の低径路長ネットワークトポロジにおける、従来のTCPおよびルーティングの性能制限を克服すること。
• 大規模クラスタにスケーリングする際、ファットツリーおよびClosトポロジにおける最短経路ルーティングの欠陥を是正すること。
• 最小経路と非最小経路の両方を活用することで、イーサネットベースのクラスタで高スループット・低レイテンシ通信を実現すること。
• 再設計されたトランスポート層とフローレットスイッチングにより、TCPのスロースタートおよび再順序化問題を排除すること。
• 同等コストの構成で最先端のClosネットワークを上回る性能を達成すること。

提案手法

• Slim Flyのような低径路長トポロジにおいて、最小経路と非最小経路の両方を動的に活用する汎用的なルーティングアーキテクチャを導入する。
• 最近のデータセンターネットワーキングの進展に基づく純化されたトランスポート層を採用し、TCPのスロースタートおよび再順序化ペナルティを除去する。
• 同じフローのパケットを単一の経路にグループ化するフローレットスイッチングを適用し、パケット再順序化を防止するとともに、負荷分散を簡素化する。
• 経路多様性を活用してトラフィックを複数の経路に分散させ、集約スループットを向上させるとともに、混雑を軽減する。
• 広範な展開に適した、標準的なイーサネットスタックと互換性のある軽量でステートレスなルーティングメカニズムを設計する。
• 現在のネットワーク状態に基づいて経路を選択することで、公平性と効率性を高める負荷分散を最適化する。

実験結果

リサーチクエスチョン

• RQ1 低径路長トポロジにおける経路多様性は、高性能クラスタにおいて従来の最短経路ルーティングを上回るために効果的に活用可能か？
• RQ2 純化されたトランスポート層は、データセンターやHPCネットワークにおけるTCPの性能制限をどの程度排除できるか？
• RQ3 フローレットスイッチングは、マルチパスイーサネットネットワークにおける負荷分散と再順序化の低減にどのように寄与するか？
• RQ4 Slim Flyのような低径路長トポロジは、同等コストのClosネットワークに対して優れた性能を発揮できるか？
• RQ5 FatPathsは、大規模クラスタにおけるエンドツーエンドレイテンシおよびネットスループットにどのような影響を与えるか？

主な発見

• FatPathsは、同等のコスト制約下でClosネットワークに比べ15%高いネットスループットを達成する。
• FatPathsは、同じコストを維持しながらエンドツーエンドレイテンシを2倍に低減する。
• 純化されたトランスポート層により、TCPのスロースタートフェーズが排除され、短いフローの性能が顕著に向上する。
• フローレットスイッチングにより、パケット再順序化が効果的に防止され、複数経路にわたるシンプルで効率的な負荷分散が可能になる。
• Slim Flyのような低径路長トポロジは、FatPathsルーティングと組み合わせることで、従来のClos設計を上回る性能を発揮する。
• FatPathsにより、Top500スーパーコンピュータの50%以上で使用されているイーサネットクラスタが、スケールに応じて前例のない性能を達成できるようになった。