[论文解读] Acceleration of the Implicit-Explicit Non-hydrostatic Unified Model of the Atmosphere (NUMA) on Manycore Processors

Daniel Abdi, Francis X. Giraldo+4 more|arXiv (Cornell University)|Feb 13, 2017

Matrix Theory and Algorithms参考文献 28被引用 6

一句话总结

该论文通过采用先进的数值技术（包括舒尔补降阶、HEVI 1D-IMEX 格式、高阶预条件子和直接求解器），在 GPU 和英特尔 KNL 等多核处理器上加速了非静力大气模型 NUMA 的计算。在高 Courant 数下，与显式方法相比，其速度提升最高可达 100 倍，展现出在面向 exascale 架构的系统中卓越的可扩展性和性能表现。

ABSTRACT

We present the acceleration of an IMplicit-EXplicit (IMEX) non-hydrostatic atmospheric model on manycore processors such as GPUs and Intel's MIC architecture. IMEX time integration methods sidestep the constraint imposed by the Courant-Friedrichs-Lewy condition on explicit methods through corrective implicit solves within each time step. In this work, we implement and evaluate the performance of IMEX on manycore processors relative to explicit methods. Using 3D-IMEX at Courant number C=15 , we obtained a speedup of about 4X relative to an explicit time stepping method run with the maximum allowable C=1. In addition, we demonstrate a much larger speedup of 100X at C=150 using 1D-IMEX due to the unconditional stability of the method in the vertical direction. Several improvements on the IMEX procedure were necessary in order to outperform our results with explicit methods: a) reducing the number of degrees of freedom of the IMEX formulation by forming the Schur complement; b) formulating a horizontally-explicit vertically-implicit (HEVI) 1D-IMEX scheme that has a lower workload and potentially better scalability than 3D-IMEX; c) using high-order polynomial preconditioners to reduce the condition number of the resulting system; d) using a direct solver for the 1D-IMEX method by performing and storing LU factorizations once to obtain a constant cost for any Courant number. Without all of these improvements, explicit time integration methods turned out to be difficult to beat. We discuss in detail the IMEX infrastructure required for formulating and implementing efficient methods on manycore processors. Finally, we validate our results with standard benchmark problems in NWP and evaluate the performance and scalability of the IMEX method using up to 4192 GPUs and 16 Knights Landing processors.

研究动机与目标

• 解决非静力大气模型中由于快速声波和重力波导致显式方法严重的时间步长限制问题。
• 通过算法与实现优化，突破隐式方法在多核架构上的性能瓶颈。
• 在保持解的精度前提下，通过允许使用大 Courant 数，实现相对于显式时间积分的显著加速。
• 确保在现代多核系统（如 GPU 和英特尔 KNL）上具备高可扩展性和高性能，以支持业务化数值天气预报。
• 使用标准 NWP 基准测试验证 IMEX 方法，并证明其在多种硬件平台上的鲁棒性。

提出的方法

• 采用 ARK 格式的 IMEX 时间积分，将快速波（声波/重力波）隐式处理，慢速波（罗斯贝波）显式处理。
• 通过舒尔补公式对 3D-IMEX 进行自由度降阶，提升计算效率。
• 开发水平显式、垂直隐式（HEVI）的 1D-IMEX 格式，以减少计算负载并增强可扩展性。
• 应用高阶多项式预条件子，降低隐式系统的条件数，加速迭代求解过程。
• 对 1D-IMEX 使用预计算的 LU 分解直接求解器，实现与 Courant 数无关的恒定成本隐式求解。
• 所有内核均使用统一的 OCCA 语言实现，以支持在 GPU 和 KNL 处理器上可移植且高性能的执行。

实验结果

研究问题

• RQ1 在多核处理器上，IMEX 方法能否在非静力大气建模中实现相对于显式方法的显著加速？
• RQ2 舒尔补和 HEVI 格式等算法改进如何影响 IMEX 在 GPU 和 KNL 上的性能与可扩展性？
• RQ3 随着 Courant 数的增加，IMEX 相对于显式方法的最大可实现加速比是多少？
• RQ4 在弱缩放和强缩放场景下，IMEX 在数千个 GPU 和 KNL 节点上的性能如何扩展？
• RQ5 高阶预条件子和直接求解器在多大程度上提升了 IMEX 格式中隐式求解的效率？

主要发现

• 在 Courant 数 C = 15 时，GPU 上的 3D-IMEX 相比显式方法（C = 1）实现了 4 倍加速。
• 采用 1D-IMEX 与直接求解器后，C = 150 时实现了高达 100 倍的加速，凸显了高 Courant 数 IMEX 方法的巨大潜力。
• 采用直接求解的 1D-IMEX 格式相比 3D-IMEX 展现出更优的可扩展性，原因在于隐式求解过程中减少了节点间通信。
• 在最多 4096 个 GPU 上的强缩放测试中，对数-对数图显示线性可扩展性，相比显式方法获得 5 倍相对加速。
• 在 16 个 KNL 节点上，IMEX 实现了 90% 的强缩放效率，表明其在英特尔多核架构上表现出色。
• 在全局声波基准测试中验证结果表明，IMEX 的精度与显式方法相当，但速度显著更优。