[論文レビュー] CLEX: Yet Another Supercomputer Architecture?

Christoph Lenzen, Roger Wattenhofer|arXiv (Cornell University)|Jul 1, 2016

Interconnection Networks and Systems参考文献 15被引用数 3

ひとこと要約

CLEX は、$ n^\varepsilon $ のノード次数を有する階層的でクライクに基づく構造を活用することで、近似的に最適な帯域幅利用率と低遅延通信を実現する新しいスパコン相互接続トポロジおよびルーティング方式を提案する。100万ノードシステムにおいて、従来の3次元トーラスネットワークを上回り、ポイントツーポイントの帯域幅利用率を最低10倍向上させるとともに、平均パス長を5倍短縮する。また、デッドロックフリーかつ故障耐性があり、スケーラブルな通信を保証する。

ABSTRACT

We propose the CLEX supercomputer topology and routing scheme. We prove that CLEX can utilize a constant fraction of the total bandwidth for point-to-point communication, at delays proportional to the sum of the number of intermediate hops and the maximum physical distance between any two nodes. Moreover, % applying an asymmetric bandwidth assignment to the links, all-to-all communication can be realized $(1+o(1))$-optimally both with regard to bandwidth and delays. This is achieved at node degrees of $n^{\varepsilon}$, for an arbitrary small constant $\varepsilon\in (0,1]$. In contrast, these results are impossible in any network featuring constant or polylogarithmic node degrees. Through simulation, we assess the benefits of an implementation of the proposed communication strategy. Our results indicate that, for a million processors, CLEX can increase bandwidth utilization and reduce average routing path length by at least factors $10$ respectively $5$ in comparison to a torus network. Furthermore, the CLEX communication scheme features several other properties, such as deadlock-freedom, inherent fault-tolerance, and canonical partition into smaller subsystems.

研究の動機と目的

• 現在のスパコン相互接続の根本的限界、特に3次元トーラスがスケールアップに伴い低いバイセクション帯域幅と高い通信遅延を抱える問題に取り組む。
• 低ノード次数と短いルーティングパスのトレードオフを克服するため、定数または多対数的次数に依存せずに、高い接続性と短いパスを実現するトポロジを設計する。
• ネットワークの冗長性を活用して、リンクやノード障害時にも耐性を持つ、実用的で分散型かつ故障耐性のあるルーティング方式を開発する。
• 信号伝搬遅延やリンク長といった物理的制約を、ネットワーク性能の理論的分析に統合し、ホップ数のみに依存するモデルを超える。
• 階層的でエクスパンダーベースのトポロジが、大規模システムにおいて近似的に最適な全対全およびポイントツーポイント通信性能を達成できることを示す。

提案手法

• 複数のレベルのクライクとエクスパンダを組み合わせた階層的相互接続トポロジ「CLEX（CLique-EXpander）」を提案し、高い接続性と短いパスを実現する。
• 平均メッセージホップ数に基づいて各レベル間で帯域幅を動的に割り当てる分散型で適応的なルーティングアルゴリズムを設計し、高いスループットを実現するため、低レベルを優先する。
• 通信遅延をホップ数と物理的距離の関数としてモデル化し、性能分析に信号伝搬遅延を組み込む。
• CLEXトポロジが持つ内在的な冗長性を活用して、障害発生時にも自動的にメッセージを迂回する故障耐性ルーティングメカニズムを実装する。
• 大規模な構成（例：32^4 および 64^3 ノード）における性能をシミュレーションで評価し、同一のトラフィックパターン下で3次元トーラスと比較する。
• 特に全対全およびポイントツーポイント通信に適した、レベル間での非対称な帯域幅割り当てを導入し、最適化を図る。

実験結果

リサーチクエスチョン

• RQ1 ノード次数が任意に小さい $ \varepsilon > 0 $ に対して $ n^\varepsilon $ に増加する場合、スパコントポロジが定数要因の最適なポイントツーポイント帯域幅利用率を達成できるか？
• RQ2 物理的信号伝搬遅延を考慮した場合、高い接続性と小さな径路直径を持つトポロジが通信遅延をどの程度低減できるか？
• RQ3 現実的で理想的でないルーティング条件下で、CLEXベースの相互接続は3次元トーラスと比較して、有効帯域幅および平均パス長の点でどの程度優れているか？
• RQ4 中央集権的制御なしに、高接続性トポロジ（例：CLEX）に対して分散型でデッドロックフリーかつ故障耐性のあるルーティング方式を設計可能か？
• RQ5 階層的なレベル間帯域幅割り当てが、大規模システムにおける全対全通信効率を顕著に向上させるか？

主な発見

• CLEX は、帯域幅および遅延の両面で $ (1+o(1)) $-最適な全対全通信を達成し、低ノード次数でこの効率を再現できない従来のトポロジを上回る。
• 100万ノードシステムにおいて、CLEX は3次元トーラスネットワークと比較して、有効なポイントツーポイント帯域幅利用率を最低10倍向上させる。
• 現実的で理想的でないルーティング条件下でも、CLEX の平均ルーティングパス長は3次元トーラスと比較して最低5倍短縮される。
• 低トラフィック状況では、CLEX の平均メッセージ遅延は物理的最小遅延の約1.8～2.3倍にまで低下するが、トーラスネットワークでははるかに高い値を示す。
• CLEX ルーティング方式は本質的にデッドロックフリーであり、ノードやリンクの障害時でも冗長ルーティングパスによりシームレスな故障耐性を実現する。
• シミュレーションにより、32^4 および 64^3 ノードシステムを含む多様な構成において、CLEX が帯域幅および遅延指標の両面で高い性能を維持することが確認された。