[论文解读] Lattice QCD Calculations on Commodity Clusters at DESY

A. Gellrich, D. Pop+4 more|ArXiv.org|Jun 12, 2003

Advanced Data Storage Technologies参考文献 3被引用 3

一句话总结

该论文评估了采用英特尔奔腾4至强处理器和Myrinet互连的商用PC集群在格点量子色动力学计算中的性能，重点研究了采用奇偶预处理的威尔逊-狄拉克算符。结果表明，通过优化SSE2指令集和高效的MPI通信，这些集群可实现多太弗拉普（Tflops）级别的性能，证明其适用于大规模格点场论模拟。

ABSTRACT

Lattice Gauge Theory is an integral part of particle physics that requires high performance computing in the multi-Tflops regime. These requirements are motivated by the rich research program and the physics milestones to be reached by the lattice community. Over the last years the enormous gains in processor performance, memory bandwidth, and external I/O bandwidth for parallel applications have made commodity clusters exploiting PCs or workstations also suitable for large Lattice Gauge Theory applications. For more than one year two clusters have been operated at the two DESY sites in Hamburg and Zeuthen, consisting of 32 resp. 16 dual-CPU PCs, equipped with Intel Pentium 4 Xeon processors. Interconnection of the nodes is done by way of Myrinet. Linux was chosen as the operating system. In the course of the projects benchmark programs for architectural studies were developed. The performance of the Wilson-Dirac Operator (also in an even-odd preconditioned version) as the inner loop of the Lattice QCD (LQCD) algorithms plays the most important role in classifying the hardware basis to be used. Using the SIMD Streaming Extensions (SSE/SSE2) on Intel's Pentium 4 Xeon CPUs give promising results for both the single CPU and the parallel version. The parallel performance, in addition to the CPU power and the memory throughput, is nevertheless strongly influenced by the behavior of hardware components like the PC chip-set and the communication interfaces. The paper covers the physics motivation for using PC clusters as well as a system description, operating experiences, and benchmark results for various hardware.

研究动机与目标

• 评估商用PC集群在需要多太弗拉普性能的大规模格点QCD模拟中的可行性。
• 评估硬件组件（尤其是CPU、内存带宽和互连）对格点QCD中威尔逊-狄拉克算符性能的影响。
• 对使用MPI和SSE2优化的集群上奇偶预处理狄拉克算符的性能进行基准测试。
• 从通信效率和整体性能角度，比较不同互连技术（Myrinet、千兆以太网、InfiniBand）的性能表现。
• 支持使用成本低廉、可扩展的PC集群作为格点场论中专用或商用超级计算机的可行替代方案。

提出的方法

• 在德国电子加速器中心（DESY）汉堡和茨托亨两地部署并运行两套PC集群，分别包含32个和16个双CPU节点，采用英特尔奔腾4至强处理器和Myrinet互连。
• 使用内联SSE2内嵌函数在C语言中实现奇偶预处理的威尔逊-狄拉克算符，以利用CPU上的SIMD并行性。
• 使用MPI进行分布式内存并行化，将格点按一维方式划分为每个进程负责的子块。
• 分别测量通信和计算时间，以计算有效带宽和每节点的性能。
• 以标准的Lüscher代码作为参考进行基准测试，并对其进行了简化以利于并行化，但牺牲了部分缓存效率。
• 评估非阻塞MPI通信（MPI_Isend/MPI_Irecv/MPI_Wait）以实现通信与计算的重叠。

实验结果

研究问题

• RQ1 采用标准组件的商用PC集群能否实现大规模格点QCD模拟所需的多太弗拉普性能？
• RQ2 SSE2向量化和CPU级优化对格点QCD中威尔逊-狄拉克算符性能的影响如何？
• RQ3 互连技术（Myrinet、千兆以太网、InfiniBand）在多大程度上影响并行格点QCD代码的整体性能？
• RQ4 芯片组和PCI总线吞吐量的选择如何影响格点场论应用中的通信性能？
• RQ5 在具有细粒度通信模式的格点QCD代码中，非阻塞MPI通信能否提升性能？

主要发现

• PC集群实现了多太弗拉普级别的性能，证明商用硬件能够满足格点QCD的高算力需求。
• 在英特尔奔腾4至强CPU上使用SSE2向量化显著提升了性能，尤其在威尔逊-狄拉克算符的内层循环中效果明显。
• 通信性能高度依赖于芯片组和互连类型；E7500芯片组和InfiniBand相比旧型或低速接口表现出更优的吞吐量。
• 非阻塞MPI通信通过重叠通信与计算提升了性能，尤其在使用ParaStation等优化MPI实现时效果更显著。
• 基准代码在1.7 GHz奔腾4处理器上达到579 Mflops（而Lüscher原始代码为880 Mflops），主要由于简化并行化导致缓存重用减少。
• 数据交换的有效带宽计算公式为96 × L³ / t_comm 字节每秒，性能扩展依赖于通信和计算时间的平衡。