[論文レビュー] QPACE -- a QCD parallel computer based on Cell processors

Harald Baier, H. Boettiger+33 more|arXiv (Cornell University)|Nov 11, 2009

Particle physics theoretical and experimental studies参考文献 7被引用数 13

ひとこと要約

QPACEは、FPGAに実装されたカスタム低遅延3次元トーラスネットワークで接続された、商品部品としてのIBM PowerXCell 8iプロセッサを用いた、高パフォーマンスで省電力な並列コンピュータであり、格子QCDシミュレーションに特化している。システムは1ラックあたり26 TFlopsの性能を達成し、独自の水冷却ソリューションを採用することで、主要なフェルミオンソルバー核で20％の持続性能を示した。また、最小限のハードウェア欠陏を伴いながらも、2か所の主要HPCセンターに正常に導入された。

ABSTRACT

QPACE is a novel parallel computer which has been developed to be primarily used for lattice QCD simulations. The compute power is provided by the IBM PowerXCell 8i processor, an enhanced version of the Cell processor that is used in the Playstation 3. The QPACE nodes are interconnected by a custom, application optimized 3-dimensional torus network implemented on an FPGA. To achieve the very high packaging density of 26 TFlops per rack a new water cooling concept has been developed and successfully realized. In this paper we give an overview of the architecture and highlight some important technical details of the system. Furthermore, we provide initial performance results and report on the installation of 8 QPACE racks providing an aggregate peak performance of 200 TFlops.

研究の動機と目的

• カスタムASICではなく、商品部品のプロセッサを用いて、格子QCDシミュレーションに最適化されたコスト効率が高くスケーラブルなスーパーコンピュータを設計すること。
• 商品部品システムにおける高遅延通信インターコネクトの制限を克服するため、FPGAを用いて低遅延でアプリケーション最適化されたネットワークを実装すること。
• 独自の液体冷却システムとラックレベルでのコンactな統合により、高い計算密度と電力効率を実現すること。
• 量子色力学分野の物理学研究に向け、生産環境で使用可能な高信頼性・高パフォーマンスなシステムを導入すること。

提案手法

• IBM PowerXCell 8iプロセッサ（PlayStation 3で使用されたCellプロセッサの強化版）を採用。高精度倍精度性能と200 GB/sのEIB帯域幅を提供。
• FPGAに基づくカスタムネットワークプロセッサ（NWP）が、格子QCDの小サイズメッセージ・高頻度通信パターンに最適化された3次元トーラスインターコネクトを実装。
• 専用で低オーバーヘッドのハードウェア論理を用いることで、ノード間遅延を約1 μsにまで低減。これは、商品ネットワークの10–30 μsと比べ顕著に低い。
• コスト効率に優れた液体冷却システムにより、26 TFlops/ラックという高いパッケージング密度を実現。空間的・電力的消費を最小限に抑える。
• 1ラックに256ノードカードを統合。各ノードカードには1つのPowerXCell 8iと1つのFPGAベースのNWPが搭載され、カスタムバックプレーンとルートカードを介して接続。
• ジョブ管理のためのフ론トエンドシステムに接続可能。物理学コードの移植も可能で、Cloverフェルミオン用のドメイン分割ソルバーが含まれる。

実験結果

リサーチクエスチョン

• RQ1 FPGAを用いてASICではなく、商品プロセッサベースのシステムで、格子QCDに適した高パフォーマンス・低遅延インターコネクトを効率的に実装できるか？
• RQ2 商品プロセッサを用いたHPCシステムにおいて、どのようにして極めて高い計算密度と電力効率を達成できるか？
• RQ3 カスタム最適化ネットワークを備えたシステムで、Cloverフェルミオンソルバーのような主要な格子QCDカーネルでどの程度のパフォーマンスが達成できるか？
• RQ4 商品プロセッサにカスタムインターコネクトと冷却を組み合わせたシステムは、生産環境に導入された場合、どの程度の信頼性とスケーラビリティを示すか？
• RQ5 革新的な液体冷却と部品レベルの電力最適化により、HPCシステムの電力効率をどの程度まで向上できるか？

主な発見

• QPACEは単精度で1ラックあたり26 TFlops、倍精度で52 TFlopsのピーク性能を達成。全8ラックで合計200/400 TFlopsのピーク性能を実現。
• ドメイン分割アルゴリズムを用いた主要なCloverフェルミオンソルバー核において、ピーク性能の約20％の持続性能を達成。
• FPGAベースのネットワークプロセッサにより、ノード間遅延が約1 μsにまで低減。これは、商品ネットワークの典型的な10–30 μsと比べ顕著に低い。
• 独自の水冷却システムにより、1ラックあたり256ノードカードの高パッケージング密度を実現。最大消費電力が35 kW未満で、26 TFlops/ラックの性能を達成。
• ユーリッヒおよびウッパーティングに導入後、ハードウェア欠陏は最小限に抑えられ、バーンイン段階での部品故障も数個にとどまり、高い信頼性を示した。
• 本プロジェクトは、FPGAがHPC用途に適した低遅延・高帯域幅ネットワークを効果的に実装できることを示したが、将来のスケーリングにあたってはFPGAリソース制限が依然として課題であることが判明した。