[论文解读] JLQCD IroIro++ lattice code on BG/Q

Guido Cossu, Jun Noaki+5 more|arXiv (Cornell University)|Nov 1, 2013

Particle physics theoretical and experimental studies参考文献 2被引用 10

一句话总结

本论文提出 IroIro++——一种基于 C++ 的面向对象格点规范理论模拟框架，旨在实现高可维护性、可移植性以及在异构架构上的性能可移植性。通过使用自定义低层库（BGNET、BGQThreads）、BFM 集成以及细粒度线程化，IroIro++ 在 IBM Blue Gene/Q 上实现了优化性能，在使用 16 个线程的 Domain-Wall 费米子模拟中，每节点最高达到 27.56 GFlops/s 的性能，同时保持了对多平台支持和未来算法扩展的可扩展性。

ABSTRACT

We describe our experience on the multipurpose C++ code IroIro++ designed for JLQCD to run on the BG/Q installation at KEK. We discuss some details on the performance improvements specific for the IBM Blue Gene Q.

研究动机与目标

• 解决现代超级计算机上格点规范理论模拟中遗留 FORTRAN 代码日益增长的复杂性与可维护性挑战。
• 设计一种可移植、可扩展且可维护的模拟框架，将物理概念与实现细节相抽象。
• 通过 XML 驱动的配置机制，在无需修改代码的情况下实现用户级配置。
• 通过架构特定的库和与 BFM（BiCGStab FMA 优化内核）的集成，优化在 IBM Blue Gene/Q 上的性能。
• 支持广泛的费米子实现、求解器和可观测量，以支持大规模模拟，包括 Nf=2+1 Domain-Wall 费米子。

提出的方法

• 采用面向对象的 C++ 编程，并借鉴 Chroma 的设计模式，实现对场、作用量、狄拉克算符、求解器和轨迹的抽象。
• 实现分层软件架构，通信层抽象了 MPI、BGNET 或单核执行模式。
• 集成日本 IBM 优化的库：BGNET 用于低延迟通信，BGQThreads 用于 SMT 感知线程化，以及优化的 BLAS 内核。
• 集成 BFM（BiCGStab FMA 优化）内核以实现高性能线性代数运算，尤其适用于共轭梯度求解器。
• 使用基于 XML 的配置机制，在无需重新编译的情况下运行时控制模拟参数、作用量和可观测量。
• 应用细粒度多线程和混合 MPI+OpenMP 并行化，并在 BG/Q 上对不同线程数进行性能调优。

实验结果

研究问题

• RQ1 如何设计一种现代、可维护且可移植的格点规范理论模拟框架，以支持复杂算法和多种架构？
• RQ2 在使用 Domain-Wall 费米子的 HMC 模拟中，Blue Gene/Q 上会出现哪些性能瓶颈，如何缓解？
• RQ3 BFM 优化内核和 IBM 的低层库在 BG/Q 上对格点 QCD 模拟的性能提升程度如何？
• RQ4 线程数量如何影响多级求解器和力计算的性能，特别是在使用 Hasenbusch 预条件的 RHMC 中？
• RQ5 在大规模 HMC 模拟中，通信开销、同步与计算效率之间的关键性能权衡是什么？

主要发现

• IroIro++ 在 Blue Gene/Q 上对两味 Domain-Wall 费米子模拟使用 16 个线程时，每节点最高达到 27.56 GFlops/s 的性能，其中 87% 的时间消耗在共轭梯度求解器上。
• 共轭梯度求解器每节点性能超过 20 GFlops/s，表明其具有进一步优化至 BFM 峰值效率的强潜力。
• 由于线程化不完全，尤其在有理逼近项（表 3 中的 P-1）中，力计算的性能随线程数增加而下降，限制了整体可扩展性。
• 在最大线程数（如 64 个线程）下，CG 求解器性能最佳，有效减少了 MPI 通信和屏障同步开销。
• 在 2048 个节点的 RHMC 模拟（2+1 个味）中，整体性能达到每节点约 15 GFlops/s（包含 I/O 时为 13 GFlops/s），仅 CG 求解器就达到每节点 20 GFlops/s。
• 该代码已可投入生产使用，适用于当前的 Nf=2+1 Domain-Wall 费米子模拟，正处于积极开发中，计划在改进文档和测试套件后公开发布。