[论文解读] Alsvinn: A Fast multi-GPGPU finite volume solver with a strong emphasis on reproducibility

Kjetil Olsen Lye|arXiv (Cornell University)|Dec 16, 2019

Meteorological Phenomena and Simulations被引用 4

一句话总结

Alsvinn 是一种高性能、支持多GPGPU的有限体积求解器，专为双曲守恒律设计，并内建不确定性量化（UQ）功能，可实现复杂3D流动的可扩展、可复现模拟。其在512块GPU上实现了优异的弱缩放性能，在NVIDIA P100上内存带宽利用率超过60%，相较于基于CPU的求解器，对UQ密集型问题实现了数量级的速度提升。

ABSTRACT

We present the Alsvinn simulator, a fast multi general purpose graphical processing unit (GPGPU) finite volume solver for hyperbolic conservation laws in multiple space dimensions. Alsvinn has native support for uncertainty quantifications, and exhibits excellent scaling on top tier compute clusters.

研究动机与目标

• 通过在现代GPGPU集群上实现高效、可复现且可扩展的模拟，解决双曲守恒律中不确定性量化（UQ）的计算瓶颈。
• 开发一种原生支持多种UQ方法（如蒙特卡洛、准蒙特卡洛和多级蒙特卡洛）的有限体积求解器，集成于单一高性能框架中。
• 通过重叠通信与计算并最小化数据移动，确保在多GPU和多节点架构上实现高性能和强缩放性。
• 提供一种可移植、可扩展的C++/CUDA/MPI实现，支持广泛的方程、数值通量和重构格式，同时最大限度减少开发人员的负担。
• 证明可通过GPGPU加速高效模拟病态双曲系统的概率形式，实现高时空分辨率和高统计分辨率。

提出的方法

• Alsvinn采用高阶重构（如WENO）和强稳定保模Runge-Kutta时间推进的半离散有限体积法求解双曲守恒律。
• 采用混合编译时与运行时多态模型，自动生成优化的CPU和GPGPU内核，实现领域特定代码的高效生成，无需GPU编程专业知识。
• 求解器支持多种数值通量，包括HLLC、Godunov、Roe和熵守恒通量，支持运行时选择与自动内核生成。
• 在多GPU环境下采用通信避免与重叠技术，其中边界层交换被紧凑化，并与域内计算并行执行。
• UQ模块通过基于采样的随机积分集成统计解框架，支持单层与多级蒙特卡洛方法，并实现MPI负载均衡。
• 所有UQ操作（包括均值、方差和概率密度函数估计）均直接在GPU上计算，以最小化数据传输与存储开销。

实验结果

研究问题

• RQ1 多GPGPU有限体积求解器是否能在512块GPU上实现对3D双曲PDE的强弱缩放性能，同时保持高内存带宽利用率？
• RQ2 基于GPGPU的UQ增强型有限体积求解器在复杂3D流动中的性能，与高度优化的CPU求解器相比如何？
• RQ3 通过重叠与紧凑化技术，能否在多GPU有限体积模拟中最大限度减少通信开销？
• RQ4 单一软件栈是否能原生支持高阶数值格式与多种UQ采样方法，且性能损耗极小？
• RQ5 在大规模计算中，是否可行通过GPGPU加速实现对病态双曲守恒律的高分辨率统计解？

主要发现

• Alsvinn在512块GPU上对Kelvin–Helmholtz不稳定性2D与3D模拟均实现了优异的弱缩放性能，随着分辨率提升，每时间步运行时间几乎保持不变。
• 在3D分辨率为2048³时，代码实现每时间步0.105秒的性能，表明其在大规模UQ模拟中具有极高的性能表现。
• 在使用512块GPU时，2D场景的MPI通信开销低于10%，3D场景约为30%，这与3D中O(N²)的边界层数据增长预期一致。
• 在单块NVIDIA Tesla P100上，Alsvinn实现超过理论内存带宽60%的利用率，证实其为内存带宽受限且高度优化。
• 求解器达到峰值FLOPS的约10%，与内存受限的有限体积算法一致，并在复杂高阶格式下保持高效率。
• Alsvinn首次实现了在高时空与统计分辨率下对3D可压缩流的全局规模统计解模拟，验证了其在大规模计算中的可行性与性能优势。