[论文解读] QCD on the Cell Broadband Engine

Francesco Belletti, Gianfranco Bilardi+17 more|ArXiv.org|Oct 12, 2007

Advanced Data Storage Technologies被引用 15

一句话总结

本文评估了IBM增强型Cell宽带引擎（BE）作为格点量子色动力学（QCD）模拟的高性能计算平台的性能。通过建立性能模型并基准测试数据移动与浮点核函数，结果表明：在采用优化数据布局并配备定制网络协处理器的情况下，可实现超过峰值浮点吞吐量20%的持续性能，使Cell BE成为下一代QCD计算系统的可行候选方案。

ABSTRACT

We evaluate IBM's Enhanced Cell Broadband Engine (BE) as a possible building block of a new generation of lattice QCD machines. The Enhanced Cell BE will provide full support of double-precision floating-point arithmetics, including IEEE-compliant rounding. We have developed a performance model and applied it to relevant lattice QCD kernels. The performance estimates are supported by micro- and application-benchmarks that have been obtained on currently available Cell BE-based computers, such as IBM QS20 blades and PlayStation 3. The results are encouraging and show that this processor is an interesting option for lattice QCD applications. For a massively parallel machine on the basis of the Cell BE, an application-optimized network needs to be developed.

研究动机与目标

• 评估IBM增强型Cell宽带引擎（BE）作为下一代格点QCD计算系统计算节点的适用性。
• 建立一个能够准确预测Cell BE上关键格点QCD核函数执行时间的性能模型。
• 在现有Cell BE系统（如IBM QS20、PlayStation 3）上基准测试数据移动与浮点运算，以验证该模型。
• 识别性能瓶颈，特别是内存访问与处理器间通信方面的限制。
• 提出一种定制网络协处理器，以支持基于Cell BE集群的可扩展、低延迟通信。

提出的方法

• 采用改进的性能模型，将执行时间估计为 $ T_i \simeq I_i / \beta_i + \mathcal{O}(\lambda_i) $，其中 $ I_i $ 为数据大小，$ \beta_i $ 为带宽，$ \lambda_i $ 为延迟。
• 该模型分析关键微任务：浮点运算（$ T_{\text{FP}} $）、寄存器到本地存储器的传输（$ T_{\text{RF}} $）、片外内存访问（$ T_{\text{mem}} $）、内部通信（$ T_{\text{int}} $）和外部通信（$ T_{\text{ext}} $）。
• 采用改进的DMA传输模型 $ T_{\text{DMA}}(I,A_s,A_d) = \lambda^0 + \lambda^a \cdot N_a + N_b \cdot \frac{128\text{ bytes}}{\beta} $，以考虑对齐依赖的延迟与数据碎片化影响。
• 在IBM QS20与PlayStation 3系统上的硬件基准测试验证了理论模型，尤其在 $ T_{\text{mem}} $ 方面，实测时间与预测值偏差在20%以内。
• 比较不同数据布局策略：将数据保留在片上本地存储器（LS）与片外主内存（MM）之间的性能差异，以识别最优内存访问方式。
• 提出一种网络协处理器设计方案，支持可扩展的3D环形互连结构，每条链路具备1 GB/s双向带宽和约1 μs的远程LS到LS传输延迟。

实验结果

研究问题

• RQ1 增强型Cell BE能否实现生产级格点QCD模拟所需的双精度浮点性能？
• RQ2 不同的数据布局（片上LS与片外MM）如何影响性能与内存带宽利用率？
• RQ3 DMA传输的对齐方式与数据碎片化在多大程度上限制了Cell BE的性能？
• RQ4 关键格点QCD核函数在Cell BE上的理论与实测性能上限是什么？
• RQ5 为实现基于Cell BE节点的可扩展、低延迟并行计算，需要何种网络基础设施？

主要发现

• 理论性能估算显示，当数据保留在片上本地存储器时，峰值浮点效率可达27%，受限于外部通信带宽。
• 对于数据位于片外内存的大规模本地格点，内存带宽成为瓶颈，效率降至27%，原因在于 $ T_{\text{mem}} \approx T_{\text{exe}} $。
• 硬件基准测试结果表明，片外内存访问时间与理论预测值偏差在20%以内，验证了性能模型的准确性。
• 非对齐的DMA传输因每128字节块增加16个周期延迟，导致有效带宽降低约一倍。
• 模型预测：在采用优化数据布局与通信机制的大规模Cell BE系统中，可实现超过峰值浮点吞吐量20%的持续性能。
• 提出一种定制网络协处理器，可支持可扩展的3D环形互连结构，总双向带宽达6 GB/s，远程内存操作延迟约为1 μs。