[論文レビュー] QCD on the Cell Broadband Engine

Francesco Belletti, Gianfranco Bilardi+17 more|ArXiv.org|Oct 12, 2007

Advanced Data Storage Technologies被引用数 15

ひとこと要約

この論文は、格子量子色力学（QCD）シミュレーションのためのハイパフォーマンスコンピューティングプラットフォームとしてのIBM拡張版セルブロードバンドエンジン（BE）を評価する。性能モデルを構築し、データ移動および浮動小数点カーネルのベンチマークを実施した結果、最適化されたデータレイアウトとカスタムネットワークコプロセッサを用いることで、ピークFPスルーレートの20％を超える持続的性能が達成可能であることが示され、セルBEは次世代QCDマシンの有力候補であることが明らかになった。

ABSTRACT

We evaluate IBM's Enhanced Cell Broadband Engine (BE) as a possible building block of a new generation of lattice QCD machines. The Enhanced Cell BE will provide full support of double-precision floating-point arithmetics, including IEEE-compliant rounding. We have developed a performance model and applied it to relevant lattice QCD kernels. The performance estimates are supported by micro- and application-benchmarks that have been obtained on currently available Cell BE-based computers, such as IBM QS20 blades and PlayStation 3. The results are encouraging and show that this processor is an interesting option for lattice QCD applications. For a massively parallel machine on the basis of the Cell BE, an application-optimized network needs to be developed.

研究の動機と目的

• 次世代格子QCDマシン用の計算ノードとしてIBM拡張版セルブロードバンドエンジン（BE）を評価すること。
• セルBE上で主要な格子QCDカーネルの実行時間を正確に予測できる性能モデルを開発すること。
• IBM QS20やプレイステーション3などの既存のセルBEシステムを用いて、データ移動および浮動小数点演算のベンチマークを実施し、モデルの妥当性を検証すること。
• 特にメモリアクセスおよびプロセッサ間通信における性能ボトルネックを特定すること。
• セルBEベースのクラスタでスケーラブルで低遅延通信を可能にするカスタムネットワークコプロセッサの設計を提案すること。

提案手法

• 洗練された性能モデルを用い、実行時間を $ T_i \simeq I_i / \beta_i + \mathcal{O}(\lambda_i) $ として推定する。ここで $ I_i $ はデータサイズ、$ \beta_i $ は帯域幅、$ \lambda_i $ は遅延を表す。
• 主要なマイクロタスクを分析する：浮動小数点演算（$ T_{\text{FP}} $）、レジスタからローカルストアへの転送（$ T_{\text{RF}} $）、オフチップメモリアクセス（$ T_{\text{mem}} $）、内部通信（$ T_{\text{int}} $）、外部通信（$ T_{\text{ext}} $）。
• アラインメント依存遅延と断片化を考慮した修正版DMA転送モデル $ T_{\text{DMA}}(I,A_s,A_d) = \lambda^0 + \lambda^a \cdot N_a + N_b \cdot \frac{128\text{ bytes}}{\beta} $ を導入する。
• IBM QS20およびプレイステーション3システムにおけるハードウェアベンチマークにより、理論的モデルの妥当性が検証され、特に $ T_{\text{mem}} $ において20％以内の誤差で予測値と一致した。
• オンチップローカルストア（LS）にデータを保持する場合とオフチップメインメモリ（MM）に保持する場合のデータレイアウトを比較し、最適なメモリアクセス戦略を同定する。
• 3Dトーラス接続を実現するスケーラブルなネットワークコプロセッサの設計を提案し、各リンクで1 GB/sの双方向帯域幅と、リモートLSからLSへの転送で約1 μsの遅延を達成する。

実験結果

リサーチクエスチョン

• RQ1 拡張セルBEは、生産的格子QCDシミュレーションに十分な二重精度浮動小数点性能を達成できるか？
• RQ2 オンチップLSとオフチップMMの間で異なるデータレイアウトが、性能およびメモリ帯域幅の利用に与える影響は何か？
• RQ3 DMA転送のアラインメントおよび断片化が、セルBE上で性能に及ぼす制限はどの程度か？
• RQ4 セルBE上での主要な格子QCDカーネルの理論的および測定済み性能の上限は何か？
• RQ5 セルBEノードを用いたスケーラブルで低遅延並列計算を実現するためのネットワークインfraは何か？

主な発見

• 理論的性能推定では、データをオンチップローカルストアに保持した場合、外部通信帯域幅の制限によりピーク浮動小数点効率が27％に達する。
• オフチップメモリにデータを保持する大規模ローカルラティスでは、メモリ帯域幅がボトルネックとなり、$ T_{\text{mem}} \approx T_{\text{exe}} $ のため効率が27％に低下する。
• ハードウェアベンチマークにより、オフチップメモリアクセス時間は理論的予測値の20％以内に収まり、性能モデルの妥当性が裏付けられた。
• アライメントの不備によるDMA転送は、128バイトブロックあたり16サイクルの追加遅延を引き起こし、有効帯域幅を約2倍低下させる。
• モデルは、最適化されたデータレイアウトと通信を用いることで、大規模セルBEマシンでピークFPスルーレートの20％を超える持続的性能が達成可能であると予測している。
• カスタムネットワークコプロセッサを提案し、3Dトーラス接続を実現する。これにより、合計6 GB/sの双方向帯域幅と、リモートメモリ操作で約1 μsの遅延を達成できる。