[論文レビュー] Optimal Low-Latency Network Topologies for Cluster Performance Enhancement

Yuefan Deng, Meng Guo+4 more|arXiv (Cornell University)|Apr 1, 2019

Interconnection Networks and Systems参考文献 49被引用数 4

ひとこと要約

本論文では、規則的なネットワークトポロジーにおける平均パス長の最小化がクラスターパフォーマンスを顕著に向上させることを提案している。ドリゴンファイア、トーラス、チバタールなどのトポロジーを用いた256ノードクラスタのシミュレーションを通じて、著者らは通信集約的ワークロードにおいて最適な低遅延設計がパフォーマンスを数倍向上させることを示しており、同じハードウェアでもトポロジーそのものがパフォーマンスを回復させられることを証明している。

ABSTRACT

We propose that clusters interconnected with network topologies having minimal mean path length will increase their overall performance for a variety of applications. We approach our heuristic by constructing clusters of up to 36 nodes having Dragonfly, torus, ring, Chvatal, Wagner, Bidiakis and several other topologies with minimal mean path lengths and by simulating the performance of 256-node clusters with the same network topologies. The optimal (or sub-optimal) low-latency network topologies are found by minimizing the mean path length of regular graphs. The selected topologies are benchmarked using ping-pong messaging, the MPI collective communications, and the standard parallel applications including effective bandwidth, FFTE, Graph 500 and NAS parallel benchmarks. We established strong correlations between the clusters' performances and the network topologies, especially the mean path lengths, for a wide range of applications. In communication-intensive benchmarks, clusters with optimal network topologies out-perform those with mainstream topologies by several folds. It is striking that a mere adjustment of the network topology suffices to reclaim performance from the same computing hardware.

研究の動機と目的

• 規則的グラフにおける平均パス長を最小化するネットワークトポロジーを特定し、クラスターパフォーマンスを向上させること。
• クラスタにおける通信集約的 HPC ワークロードへのネットワークトポロジーの影響を評価すること。
• ハードウェアを変更せずにトポロジー最適化がパフォーマンスを顕著に向上させられることを示すこと。
• 標準 HPC アプリケーションを用いて、ドリゴンファイア、トーラス、リング、チバタール、ヴァイガナー、バイディアキスといったさまざまなトポロジーをベンチマークすること。
• 多様なワークロードにわたり、平均パス長と全体的なクラスターパフォーマンスとの間に強い相関関係が存在することを確立すること。

提案手法

• 平均パス長を分析するために、最大36ノードのさまざまな規則的トポロジーを用いたクラスタの構築。
• スケーラビリティとパフォーマンスを評価するため、同じトポロジーを用いて256ノードクラスタをシミュレート。
• 最適または準最適なトポロジーの選定の主なヒューリスティックとして、平均パス長の最小化を採用。
• ピングポングメッセージング、MPI コレクティブ操作、および標準 HPC ワークロード（例：NAS Parallel Benchmarks、Graph 500、FFTE）を用いたトポロジーのベンチマーク。
• 多様なアプリケーションにおいて、ネットワークトポロジー、特に平均パス長とのパフォーマンス相関関係を分析。
• 同一のハードウェア条件下でトポロジー間のパフォーマンスを比較するため、シミュレーションベースの評価を実施。

実験結果

リサーチクエスチョン

• RQ1 規則的グラフにおけるクラスタ相互接続用ネットワークトポロジーの中で、平均パス長を最小化するのはどれか？
• RQ2 通信集約的 HPC アプリケーションにおいて、平均パス長とパフォーマンスの相関関係はどの程度か？
• RQ3 ハードウェア変更なしに、トポロジー最適化がクラスターパフォーマンスをどの程度向上させられるか？
• RQ4 実際の HPC ワークロード下で、ドリゴンファイア、トーラス、その他のトポロジーは遅延とパフォーマンスにおいてどのように比較されるか？
• RQ5 準最適なトポロジーを特定し、最適なものに置き換えることで顕著なパフォーマンス向上を達成できるか？

主な発見

• 通信集約的ベンチマークにおいて、最適な低遅延トポロジーを備えたクラスタは、主流のトポロジーを備えたものよりも数倍のパフォーマンスを発揮した。
• 幅広いアプリケーションにわたり、平均パス長と全体的なクラスターパフォーマンスとの間に強い相関関係が確立された。
• 同じ計算ハードウェアが最適なネットワークトポロジーと組み合わせられることで、顕著に高いパフォーマンスが達成された。
• ドリゴンファイアやトーラスといったトポロジーは、平均パス長を最小化するように最適化された場合、優れたパフォーマンスを示した。
• ピングポングおよび MPI コレクティブ通信ベンチマークから、平均パス長の低減が直接的に遅延と帯域幅の向上に寄与することが確認された。
• 本研究は、HPC クラスタにおけるパフォーマンス向上のための重要な、かつ未利用の要因としてネットワークトポロジーが果たす役割を示している。