[论文解读] Domain Decomposition method on GPU cluster

Y. Osaki, Ken-Ichi Ishikawa|arXiv (Cornell University)|Nov 15, 2010

Quantum Chromodynamics and Particle Interactions参考文献 3被引用 8

一句话总结

本文提出在低成本GPU集群上，于混合精度嵌套-BiCGStab求解器中使用受限叠加Schwarz（RAS）预条件子，以减少格点QCD模拟中的通信瓶颈。通过将格点区域分解并在八个GPU间分配计算，该方法在非预条件求解器基础上实现了两倍的性能提升，主要归因于减少了GPU之间的通信开销，尽管存在高延迟的千兆以太网连接。

ABSTRACT

Pallalel GPGPU computing for lattice QCD simulations has a bottleneck on the GPU to GPU data communication due to the lack of the direct data exchanging facility. In this work we investigate the performance of quark solver using the restricted additive Schwarz (RAS) preconditioner on a low cost GPU cluster. We expect that the RAS preconditioner with appropriate domaindecomposition and task distribution reduces the communication bottleneck. The GPU cluster we constructed is composed of four PC boxes, two GPU cards are attached to each box, and we have eight GPU cards in total. The compute nodes are connected with rather slow but low cost Gigabit-Ethernet. We include the RAS preconditioner in the single-precision part of the mixedprecision nested-BiCGStab algorithm and the single-precision task is distributed to the multiple GPUs. The benchmarking is done with the O(a)-improved Wilson quark on a randomly generated gauge configuration with the size of $32^4$. We observe a factor two improvment on the solver performance with the RAS precoditioner compared to that without the preconditioner and find that the improvment mainly comes from the reduction of the communication bottleneck as we expected.

研究动机与目标

• 解决多GPU格点QCD模拟中因低速互连导致的高延迟GPU间通信带来的性能瓶颈。
• 评估受限叠加Schwarz（RAS）预条件子在多GPU环境中减少通信开销的有效性。
• 优化域分解与GPU间任务分配，以最小化延迟并最大化求解器效率。
• 在真实GPU集群上对增强RAS预条件化的混合精度嵌套-BiCGStab求解器进行性能基准测试。

提出的方法

• 将RAS预条件子应用于混合精度嵌套-BiCGStab算法的单精度阶段，以加速收敛。
• 将格点划分为非重叠和重叠子域，各GPU上本地求解域受限算子。
• 通过R_{\Omega_i}投影算子将更新限制在非重叠体素上，最小化数据通信。
• 求解器采用带重叠区域（d=0,2,4）的域分解，并改变重叠层数和域反演步数。
• GPU集群由四台PC组成，每台PC配备两块GPU，通过千兆以太网连接，模拟真实的低成本高性能计算环境。
• 使用32^4格点、O(a)-改进的威尔逊费米子和高斯噪声源进行性能测量。

实验结果

研究问题

• RQ1 RAS预条件子能否在低成本集群的多GPU格点QCD求解器中减少通信瓶颈？
• RQ2 域重叠程度（d=0,2,4）如何影响求解器性能和通信开销？
• RQ3 RAS参数（NRAS, N_dominv）的最优配置是什么，以最小化总求解时间？
• RQ4 尽管增加了通信和计算开销，Dv操作数的减少是否能带来可测量的性能提升？

主要发现

• 当无域重叠（d=0）时，RAS预条件子实现两倍性能提升，总求解时间从53.305秒减少至27.977秒。
• 通信时间主导总运行时间，实测双向带宽约为300 MB/sec。
• 尽管Dv操作减少了63%（从1,328次降至484次），但d=2情况未带来更好性能，因投影和域反演带来的开销增加。
• d=4情况虽略有减少Dv操作，但投影和域反演的开销更高，导致无净性能增益。
• RAS预条件子的优势主要源于减少通信量，而非操作次数减少，因为通信时间是主要瓶颈。
• 最优配置为NRAS=3和N_dominv=5，其中d=0提供最佳性能。