[论文解读] Modern Gyrokinetic Particle-In-Cell Simulation of Fusion Plasmas on Top Supercomputers

Bei Wang, S. Ethier+5 more|arXiv (Cornell University)|Oct 19, 2015

Magnetic confinement fusion research参考文献 26被引用 5

一句话总结

该论文提出GTC-P，一种高度可扩展、现代化的磁流体动力学粒子-网格（PIC）代码，专为百亿亿次超级计算机优化，实现了对聚变等离子体中离子温度梯度湍流的前所未有的五维模拟。通过引入径向与环向方向的二维域分解、高级线程级优化以及异构加速器支持（GPU与Xeon Phi），GTC-P在多种HPC架构上实现了极致的可扩展性与性能，使长时程、高分辨率的ITER尺度等离子体模拟成为可能，相比以往代码，其输运水平更低。

ABSTRACT

The Gyrokinetic Toroidal Code at Princeton (GTC-P) is a highly scalable and portable particle-in-cell (PIC) code. It solves the 5D Vlasov-Poisson equation featuring efficient utilization of modern parallel computer architectures at the petascale and beyond. Motivated by the goal of developing a modern code capable of dealing with the physics challenge of increasing problem size with sufficient resolution, new thread-level optimizations have been introduced as well as a key additional domain decomposition. GTC-P's multiple levels of parallelism, including inter-node 2D domain decomposition and particle decomposition, as well as intra-node shared memory partition and vectorization have enabled pushing the scalability of the PIC method to extreme computational scales. In this paper, we describe the methods developed to build a highly parallelized PIC code across a broad range of supercomputer designs. This particularly includes implementations on heterogeneous systems using NVIDIA GPU accelerators and Intel Xeon Phi (MIC) co-processors and performance comparisons with state-of-the-art homogeneous HPC systems such as Blue Gene/Q. New discovery science capabilities in the magnetic fusion energy application domain are enabled, including investigations of Ion-Temperature-Gradient (ITG) driven turbulence simulations with unprecedented spatial resolution and long temporal duration. Performance studies with realistic fusion experimental parameters are carried out on multiple supercomputing systems spanning a wide range of cache capacities, cache-sharing configurations, memory bandwidth, interconnects and network topologies. These performance comparisons using a realistic discovery-science-capable domain application code provide valuable insights on optimization techniques across one of the broadest sets of current high-end computing platforms worldwide.

研究动机与目标

• 为解决传统磁流体动力学PIC代码在模拟大规模聚变等离子体（如ITER）时面临的可扩展性与性能限制。
• 通过在径向与环向方向引入新型二维域分解，克服现有单维域分解带来的内存瓶颈。
• 利用现代超级计算架构（包括配备GPU与Xeon Phi加速器的异构系统）实现托卡马克中微湍流的长时程、高分辨率模拟。
• 通过分析内存带宽、缓存层次结构与互连影响，优化不同HPC平台上的性能。
• 通过支持发现型科学，实现前所未有的空间分辨率与时间持续性的模拟，推动磁约束聚变能研究。

提出的方法

• 在径向与环向维度上实施二维域分解，以降低每进程的内存占用并改善负载均衡。
• 在每个域内引入粒子分解，以维持负载均衡，并实现数千个计算节点上的强可扩展性。
• 利用OpenMP实现共享内存并行化，并通过向量化优化CPU架构上的节点内性能。
• 通过CUDA将关键内核移植至NVIDIA GPU，通过卸载指令将关键内核移植至Intel Xeon Phi协处理器，以利用数据级并行与线程级并行。
• 使用双向MPI进行分布式内存通信，并计划迁移至单边MPI（MPI-3.0）以提升大规模系统上的可扩展性。
• 应用数值耗散以稳定长时间模拟，替代先前的热浴模型，从而改善能量守恒并降低人为输运。

实验结果

研究问题

• RQ1 与一维分解相比，二维域分解在五维磁流体动力学PIC模拟中如何提升内存可扩展性与性能？
• RQ2 在现代异构超级计算机上，PIC代码的性能瓶颈是什么，特别是内存带宽、数据移动与PCIe开销方面？
• RQ3 缓存层次结构、内存带宽与互连拓扑等系统级因素如何影响不同HPC平台上磁流体动力学模拟的性能？
• RQ4 在Peta-scale与Exa-scale级系统上，GTC-P在保持高分辨率与长模拟时长的前提下，可实现多大程度的强可扩展性？
• RQ5 不同数值稳定化方法（如数值耗散与热浴）在长期微湍流模拟中如何影响输运水平与能量守恒？

主要发现

• GTC-P在Mira超算上成功扩展至最多32,768个计算节点，实现了对等离子体装置尺寸达标准构型1000倍的模拟。
• 二维域分解显著降低了每进程的内存需求，使高空间分辨率的ITER尺度等离子体模拟成为可能。
• GPU与Xeon Phi协处理器上的性能远低于STREAM带宽预测值，主要受数据局部性、同步开销与PCIe传输开销影响。
• 网络性能在大规模模拟中成为关键瓶颈，尤其在长时间运行中，凸显了互连效率的重要性。
• GTC-P模拟中时间平均热导率在大等离子体尺寸下表现出输运水平的渐进式‘回落’现象，其幅值显著低于以往低分辨率模拟，表明高分辨率区域中输运水平更低。
• 采用数值耗散替代热浴模型可实现更精确的长期能量守恒与更低的人为输运，尽管输运水平差异的确切原因仍在进一步研究中。