[論文レビュー] Automated Design of Two-Layer Fat-Tree Networks

Konstantin S. Solnushkin|arXiv (Cornell University)|Jan 25, 2013

Interconnection Networks and Systems参考文献 9被引用数 3

ひとこと要約

本稿では、データセンターやスーパーコンピュータ向けに、実際の機器価格と技術仕様を活用してコストとハードウェア利用効率を最適化する、2層ファットツリー型ネットワークの自動設計アルゴリズムを提示する。各ポート単位のメトリクスとヒューリスティクスを用いて、未使用ポートとケーブルの複雑さを最小限に抑え、最小限の手動介入で効率的でスケーラブルかつ経済的に最適なネットワーク構成を実現する。

ABSTRACT

This paper presents an algorithm to automatically design two-level fat-tree networks, such as ones widely used in large-scale data centres and cluster supercomputers. The two levels may each use a different type of switches from design database to achieve an optimal network structure. Links between layers can run in bundles to simplify cabling. Several sample network designs are examined and their technical and economic characteristics are discussed. The characteristic feature of our approach is that real life equipment prices and values of technical characteristics are used. This allows to select an optimal combination of hardware to build the network (including semi-populated configurations of modular switches) and accurately estimate the cost of this network. We also show how technical characteristics of the network can be derived from its per-port metrics and suggest heuristics for equipment placement. The algorithm is useful as a part of a bigger design procedure that selects optimal hardware of cluster supercomputer as a whole. Therefore the article is focused on the use of fat-trees for high-performance computing, although the results are valid for any type of data centres.

研究の動機と目的

• 大規模なデータセンターやスーパーコンピュータにおけるコストとハードウェアの無駄を最小限に抑える2層ファットツリー型ネットワークの自動設計アルゴリズムの開発。
• 実世界の価格と技術的仕様に基づいた、スイッチタイプ（特に一部のみモジュールを搭載したモジュラー構成を含む）の最適選択を可能にする。
• リンクバンドルの支援と効率的なラック内機器配置のためのヒューリスティクスを用いて、ケーブルの複雑さを低減する。
• クラスタ型スーパーコンピュータの包括的CADシステムの一環としてネットワーク設計を支援し、ハードウェアコンビネーションの迅速な反復評価を可能にする。
• 各ポートメトリクスを用いた正確なコストと性能推定を提供し、将来的な拡張性をサポートする。

提案手法

• アルゴリズムは、コスト、帯域幅、ポート数といった各ポートメトリクスを用い、総コスト、ブロッキング要因、信頼性といった集約的ネットワーク特性を導出する。
• モジュラー スイッチに搭載されたリーフモジュールの数が変動する可能性があることを考慮し、スイッチタイプと構成の自動探索を実施し、未使用ポートと総コストを最小限に抑える。
• リンクバンドル（例：12本のInfiniBandケーブル）をサポートすることで、ケーブル数と物理的ボリュームを削減し、管理性を向上させる。
• 機器のラック内配置をガイドするヒューリスティクス：ブロックは密に配置され、エッジスイッチは上部に配置されてダウンリンクを短くし、シーケンスパターンにより列間の近接性を確保する。
• ラック配置パターンとレイアウトに基づいて推定されたケーブル長を基に、平均ケーブル単価80ドルを用いる。
• アルゴリズムはクラスタ型スーパーコンピュータ用のCADシステムに統合されており、ネットワーク設計を自己完結的なサブタスクとして、ハードウェアコンビネーションの反復評価を可能にする。

実験結果

リサーチクエスチョン

• RQ1 2層ファットツリー型ネットワークをどのように自動設計すれば、総コストを最小限に抑えつつスイッチポートを効率的に活用できるか？
• RQ2 実際の機器価格と技術的仕様を用いることで、ネットワークコスト推定とハードウェア選定の正確性にどのような影響を与えるか？
• RQ3 リンクバンドルと機器配置のヒューリスティクスは、ケーブルの複雑さを低減し、物理的レイアウト効率を向上させるのにどの程度寄与するか？
• RQ4 各ポートメトリクスを用いることで、コスト、帯域幅、信頼性といった集約的ネットワーク特性をどの程度正確に導出できるか？
• RQ5 この設計アルゴリズムは、大規模なHPCおよびデータセンターエンvironmentsにおける将来的なネットワーク拡張性とスケーラビリティをどの程度サポートできるか？

主な発見

• アルゴリズムは、高径数のモジュラー スイッチを用いて、最大200,000ノードのブロッキングなしファットツリー型ネットワークを設計可能であり、一般的なスーパーコンピュータの要件を大幅に上回る。
• スイッチ構成の最適化と未使用ポートの最小化により、特に中規模な導入において、ハードウェアの無駄とネットワーク総コストを削減する。
• リンクバンドル（例：12本のケーブル）によりケーブル数と物理的ボリュームが削減され、ケーブル長とルーティングの複雑さに著しい削減効果が見込まれる。
• 提案されたラック配置のヒューリスティクスにより、機器の密な配置が可能となり、396ノードの例ではラック数を1台削減（12台から11台）し、空間的およびケーブル効率を向上させた。
• 各ポートメトリクスを用いることで、総ネットワークコスト、帯域幅、信頼性の正確な推定が可能であり、完全なトポロジーエンumerationなしで下限近似が得られる。
• アルゴリズムは一部のみモジュラー スイッチ構成をサポートし、実機器データに基づいた正確なコストとポート利用効率の最適化を可能にする。