[論文レビュー] The QCDOC supercomputer: hardware, software, and performance

P. A. Boyle, Chulwoo Jung+1 more|ArXiv.org|Jun 18, 2003

Particle physics theoretical and experimental studies被引用数 26

ひとこと要約

本論文では、システムインチップ技術を用いて格子QCDシミュレーションに最適化された、大規模並列スーパーコンピュータであるQCDOCを提示する。各ノードは、PowerPCベースのASICを備え、ピーク性能は1 GFlop/s、双方向通信帯域幅は12 Gbit/sであり、10,000ノードでの実行で50%以上の効率を達成している。本システムは、グローバル和集合および近隣ノード通信において、1桁の改善を実現し、MILCのような生産レベルのQCDコードにおけるQMPの効率的利用を可能にし、高いスケーラビリティを実現している。

ABSTRACT

An overview is given of the QCDOC architecture, a massively parallel and highly scalable computer optimized for lattice QCD using system-on-a-chip technology. The heart of a single node is the PowerPC-based QCDOC ASIC, developed in collaboration with IBM Research, with a peak speed of 1 GFlop/s. The nodes communicate via high-speed serial links in a 6-dimensional mesh with nearest-neighbor connections. We find that highly optimized four-dimensional QCD code obtains over 50% efficiency in cycle accurate simulations of QCDOC, even for problems of fixed computational difficulty run on tens of thousands of nodes. We also provide an overview of the QCDOC operating system, which manages and runs QCDOC applications on partitions of variable dimensionality. Finally, the SciDAC activity for QCDOC and the message-passing interface QMP specified as a part of the SciDAC effort are discussed for QCDOC. We explain how to make optimal use of QMP routines on QCDOC in conjunction with existing C and C++ lattice QCD codes, including the publicly available MILC codes.

研究の動機と目的

• 格子QCDシミュレーションに最適化された、スケーラブルでコスト効率の良いスーパーコンピュータアーキテクチャの設計。
• 大規模QCDシミュレーションにおける性能ボトルネック、特にグローバル和集合および近隣ノード通信の克服。
• 浮動小数点演算、メモリ、通信サブシステムのバランスを取ることで、数万ノード規模で高い持続的パフォーマンスを達成すること。
• QMP準拠のランタイム環境を通じて、MILCを含む既存の格子QCDコードの効率的な移植と実行を支援すること。
• アプリケーションの柔軟でスケーラブルなデプロイメントを可能にするために、マシンを多次元グリッドに動的に分割すること。

提案手法

• QCDOCアーキテクチャは、システムインチップ技術を用い、PowerPC 440プロセッサ、1 GFlop/sのFPU、4 MBのオンチップメモリ、12 Gbit/sのシリアル通信を1つのASICに統合している。
• ノードは6次元メッシュ構造で近隣ノード同士を接続し、QCDの局所的更新パターンに最適な低遅延通信を実現している。
• QCDOCオペレーティングシステムは、変動可能な次元性（1次元から6次元まで）を持つグリッドへのマシンの動的分割を管理し、下位のトポロジーを抽象化している。
• 本システムは、QCDの通信パターンに最適化された、SciDAC標準に準拠したMPI類似インタフェース「QMP（QCDメッセージパッシング）」を実装している。
• 低レベルのコード最適化により性能を向上：通信チャネルの再利用、関数呼び出しオーバーヘッドの削除、およびAsqtad力項のような重要なカーネルにおけるL1キャッシュおよびレジスタの再利用を可能にした。
• ASICはIBMリサーチと共同開発され、高帯域幅・低遅延なデータ転送を管理するため、CoreConnectバス（PLB、OPB、DCR）が使用された。

実験結果

リサーチクエスチョン

• RQ1 数万ノード規模での格子QCDシミュレーションに高スケーラビリティと高効率を実現するため、どのようにスーパーコンピュータをアーキテクチャ設計すべきか？
• RQ2 従来のクラスタ技術と比較して、グローバル和集合および近隣ノード通信でどの程度の性能向上が達成できるか？
• RQ3 MILCのような既存の格子QCDコードが、QMPインタフェースを用いてQCDOC上でどの程度効率的に移植および最適化できるか？
• RQ4 Asqtad力項のようなQCDカーネルにおける浮動小数点ユニットの高い利用度を達成するため、どのような低レベルのコード最適化が必要か？
• RQ5 QCDOCオペレーティングシステムは、多次元アプリケーションのための柔軟で動的なマシン分割をどのように実現しているか？

主な発見

• QCDOCは、10,000ノード規模の大きなスケールのQCDシミュレーションにおいても、50%以上の持続的パフォーマンス効率を達成しており、サイクル正確なシミュレーションでは高いリソース利用率が確認された。
• 従来のMPPと比較して、グローバル和集合および近隣ノード通信の遅延において、1桁の改善が達成された。
• コード最適化後、2⁴の局所的体積ではAsqtad力項のパフォーマンスがピークの3%から14%に、4⁴体積では6%から20%に向上し、パフォーマンス向上率は300–400%に達した。
• 通信チャネルの再利用、関数呼び出しオーバーヘッドの削除、ループアンローリングなどの最適化により、計算カーネルのパフォーマンスが1.5–1.7倍向上した。
• QCDOCにおけるQMP実装は近隣ノード通信について完了しており、MILCコードの効率的実行を可能にし、パフォーマンス数値から高い効率性が裏付けられた。
• IBMと共同開発されたQCDOC ASICは、1秒あたりの持続的MFlopあたり1ドルという価格性能比を達成しており、低消費電力かつ高い信頼性を備えている。