[论文解读] A 400 Trillion-Grid Vlasov Simulation on Fugaku Supercomputer: Large-Scale Distribution of Cosmic Relic Neutrinos in a Six-dimensional Phase Space

Kohji Yoshikawa, Satoshi Tanaka+1 more|arXiv (Cornell University)|Oct 29, 2021

Cosmology and Gravitation Theories参考文献 24被引用 8

一句话总结

本论文首次实现了世界上首个且规模最大的宇宙原初中微子6维相空间Vlasov模拟，基于富岳超算机上的新型高阶求解器完成。通过在400万亿个网格上直接积分Vlasov方程，实现了无噪声、高分辨率的巨量中微子动力学建模，与最先进的N体模拟相比，求解时间缩短了10倍，从而能够精确研究大尺度结构形成中的无碰撞阻尼效应。

ABSTRACT

We report a Vlasov simulation of cosmic relic neutrinos combined with N-body simulation of cold dark matter in the context of large-scale structure formation in the Universe performed on Fugaku supercomputer. Gravitational dynamics of the neutrinos is followed, for the first time, by directly integrating the Vlasov equation in a six-dimensional phase space. Our largest simulation combines the Vlasov simulation on 400 trillion grids and 330 billion-body calculations in a self-consistent manner, and reproduces accurately the nonlinear dynamics of neutrinos in the Universe. The novel high-order Vlasov solver is optimized by combining an array of state-of-the-art numerical schemes and fully utilizing the SIMD instructions on the A64FX processors. Time-To-Solution of our simulation is an order of magnitude shorter than the largest N-body simulations. The performance scales excellently with up to 147,456 nodes (7 million CPU cores) on Fugaku; the weak and strong scaling efficiencies are 82% - 96% and 82% - 93%, respectively.

研究动机与目标

• 为克服基于粒子的N体模拟在建模巨量中微子时的局限性，特别是散粒噪声和高速尾部分辨率不足的问题。
• 通过六维相空间（3D位置，3D速度）中的Vlasov方程，以完全自洽的方式模拟宇宙原初中微子与冷暗物质（CDM）之间的引力动力学。
• 在富岳超算机上实现前所未有的计算性能与可扩展性，以支持大规模Vlasov模拟。
• 实现对大尺度结构中印痕的无碰撞阻尼效应的精确建模，这对于约束中微子质量至关重要。
• 建立一种混合Vlasov/N体框架，结合两种方法的优势，用于多组分系统的宇宙学模拟。

提出的方法

• 采用高阶有限体积法，在六维相空间（3D位置，3D速度）中直接求解Vlasov方程，连续表示中微子分布函数。
• 采用一种新型对流格式，兼具高空间精度与低计算成本，针对A64FX处理器使用SIMD指令进行优化。
• 提出一种LAT（Load-Array-Transpose）方法，将结构化网格数据高效打包至SIMD寄存器，最大限度减少内存访问开销。
• 将Vlasov模拟与基于粒子的N体模拟耦合，通过泊松方程确保引力势的自洽计算。
• 采用混合数值方法，其中巨量中微子通过Vlasov方程处理，CDM通过N体方法处理，充分发挥两者互补优势。
• 通过富岳超算机的高带宽Tofu互连网络与A64FX向量单元，对整个模拟栈（数值方法、内存访问与并行化）进行端到端优化。

实验结果

研究问题

• RQ1 在百亿亿次级计算规模下，能否高效求解宇宙学模拟中巨量中微子的六维相空间Vlasov方程？
• RQ2 相较于传统N体方法，高阶且SIMD优化的Vlasov求解器是否在处理高温、无碰撞组分时显著提升性能并降低噪声？
• RQ3 混合Vlasov/N体方法能否准确模拟巨量中微子的非线性动力学及其对大尺度结构形成的影响？
• RQ4 Vlasov模拟在富岳超算机上的可扩展性与性能如何，涵盖弱缩放与强缩放两种情形？
• RQ5 由于Vlasov模拟中无散粒噪声，其在分辨率上对关键的无碰撞阻尼效应所依赖的速度分布尾部的提升程度如何？

主要发现

• 模拟在相空间中实现了400万亿网格，并完成3300亿粒子的计算，创下迄今最大规模的Vlasov模拟纪录。
• 与最大规模的N体模拟相比，求解时间缩短了一个数量级，且在等效空间分辨率下具备更优的噪声特性。
• 模拟在最多147,456个节点（700万CPU核心）下，弱缩放效率达82–96%，强缩放效率达82–93%，表现优异。
• 新型高阶Vlasov求解器结合SIMD优化的数据布局（LAT方法），实现了高性能计算与低数值扩散。
• 混合Vlasov/N体框架成功实现了巨量中微子与CDM之间自洽的引力耦合，高保真度捕捉了非线性结构形成过程。
• 模拟表明，Vlasov方法能够精确解析巨量中微子的宽广、延展的速度尾部，而这一特征在N体方法中难以准确捕捉，对无碰撞阻尼建模至关重要。