[論文レビュー] High Performance Commodity Networking in a 512-CPU Teraflop Beowulf Cluster for Computational Astrophysics

John Dubinski, Robin Humble+3 more|arXiv (Cornell University)|May 7, 2003

Particle accelerators and beam dynamics参考文献 2被引用数 4

ひとこと要約

本論文は、一般品の24ポートギガビットスイッチと、二重ネットワークインターフェースを介したLinuxベースルーティングを用い、512CPUのコスト効率の高いBeowulfクラスタ「McKenzie」を提案する。HPLベンチマークでは1.202 Teraflopsの性能を達成し、システム総費用のうちネットワークコストは9%にとどまる。このクラスタは、大規模構造形成、銀河運動論、ブラックホール磁気流体力学、および惑星形成を含む計算物理学分野における高性能シミュレーションを可能にし、1つのMHDコードでは2.2テラフロップス（理論ピークの44%）に達した。

ABSTRACT

We describe a new 512-CPU Beowulf cluster with Teraflop performance dedicated to problems in computational astrophysics. The cluster incorporates a cubic network topology based on inexpensive commodity 24-port gigabit switches and point to point connections through the second gigabit port on each Linux server. This configuration has network performance competitive with more expensive cluster configurations and is scaleable to much larger systems using other network topologies. Networking represents only about 9% of our total system cost of USD$561K. The standard Top 500 HPL Linpack benchmark rating is 1.202 Teraflops on 512 CPUs so computing costs by this measure are $0.47/Megaflop. We also describe 4 different astrophysical applications using complex parallel algorithms for studying large-scale structure formation, galaxy dynamics, magnetohydrodynamic flows onto blackholes and planet formation currently running on the cluster and achieving high parallel performance. The MHD code achieved a sustained speed of 2.2 teraflops in single precision or 44% of the theoretical peak.

研究の動機と目的

• 一般品ネットワーキング部品を用いて、計算天文学に適した高性能で低コストのBeowulfクラスタを設計すること。
• 従来、クラスタ予算の大部分を占めていたネットワーキングコストを、高価な専用スイッチや高機能スイッチに代えて、一般品のギガビットスイッチとLinuxルーティングを活用することで低減すること。
• 最小限の費用でテラフロップスレベルの性能を達成し、資金が限られた研究グループが大規模な天体物理学的シミュレーションにアクセスできるようにすること。
• 一般品ネットワーキングと知的トポロジー、Linuxルーティングを組み合わせることで、より高価なクラスタ構成と同等またはそれ以上の性能を達成できることを実証すること。
• スケーラブルなMPIベースのコードを用いて、宇宙論、銀河形成、惑星形成を含む複数分野の複雑で大規模な天体物理学的シミュレーションをサポートすること。

提案手法

• 268台のデュアルXeon Linuxサーバを用いて512CPUのクラスタを構築し、256ノードを並列計算に、8ノードを開発用に、4ノードを予備またはバックアップ用に割り当てた。
• 19台のSMC Tiger 24ポートギガビットスイッチを用いたハイブリッドネットワークトポロジーを実装し、17台を本番計算クラスタ用、2台を開発および予備用に使用した。
• 各計算ノードに2番目のギガビットイーサーネットポートを搭載し、ノード自体をルーターとして機能させることで、ポイントツーポイント接続を可能にし、高価なスイッチへの依存度を低減した。
• スタックされた一般品スイッチとLinuxルーティングを組み合わせることで、合計128 Gbitの断面帯域幅を達成し、ノード間通信を効率的に行った。
• 中央のヘッドノードを介したPXEブートを導入し、すべての計算ノードにおけるシステム管理およびカーネル更新を簡素化した。
• OSCARクラスターソフトウェアパッケージを導入し、Linux OSのインストールと設定を自動化することで、一貫性がありスケーラブルなクラスタ管理を実現した。

実験結果

リサーチクエスチョン

• RQ1 一般品ネットワーキングハードウェアのみを用いて、性能やスケーラビリティに妥協をきたさずに高性能コンピューティングクラスタを構築できるか？
• RQ2 大規模並列コンピューティング環境において、一般品サーバー上で実行するLinuxベースのルーティングが、高価な専用低遅延インターコネクトをどれほど代替できるか？
• RQ3 高機能スイッチや専用インターコネクトを用いたクラスタと比較して、一般品スイッチと二重インターフェースルーティングを用いたクラスタの性能はどの程度か？
• RQ4 このような低コストクラスタが、大規模な並列処理を要する複雑で帯域幅の高い天体物理学的シミュレーションを効率的に実行できるか？
• RQ5 ネットワークトポロジーやルーティング戦略が、科学的計算ワークロードにおける強スケーリングと高い並列効率を達成する上で、どのような影響を及ぼすか？

主な発見

• McKenzieクラスタは、512CPUでHPLリンパック性能を1.202テラフロップスに達成し、2002年11月のTop 500リストで上位50位内にランクインした。
• ネットワークコストは、総システムコスト56万1000ドルのうち9%にとどまり、1メガフロップあたりの計算コストは0.47ドルとなった。
• ブラックホール降着流体のMHDコードは、単精度演算で2.2テラフロップスの継続的性能を達成し、理論ピーク性能の44%に相当した。
• 自己重力付き滑らか化粒子力学法（SPH）を用いた惑星形成コードは、32プロセッサで90%の並列効率を達成し、原始惑星系円盤内のダストとガスの進化を大規模3次元シミュレーション可能にした。
• 数億個の粒子を含む大規模N体シミュレーションを正常に実行し、宇宙論的および銀河動力学的研究の実現可能性を示した。
• 一般品ハードウェア上でLinuxをルーターとして使用したことで、スケーラブルで高スループットの通信が可能となり、内在するスイッチ遅延を考慮しても、複雑で帯域幅を要する天体物理学的コードに実用的であることが実証された。