[论文解读] A highly scalable Met Office NERC Cloud model

Nick Brown, Michèle Weiland+5 more|CentAUR (University of Reading)|Sep 27, 2020

Meteorological Phenomena and Simulations参考文献 10被引用 23

一句话总结

本文提出 MONC，这是对英国气象局大涡模型（Met Office Large Eddy Model, LEM）的高性能可扩展重实现，旨在通过插件式、组件化架构以及 I/O 服务器模型，突破 LEM 512 核心的扩展限制。结果是，该模型可扩展至 32,768 核，通过单精度迭代压力求解器实现高达 600 秒的性能提升，使现代 HPC 系统能够开展高分辨率的大气模拟。

ABSTRACT

Large Eddy Simulation is a critical modelling tool for scientists investigating atmospheric flows, turbulence and cloud microphysics. Within the UK, the principal LES model used by the atmospheric research community is the Met Office Large Eddy Model (LEM). The LEM was originally developed in the late 1980s using computational techniques and assumptions of the time, which means that the it does not scale beyond 512 cores. In this paper we present the Met Office NERC Cloud model, MONC, which is a re-write of the existing LEM. We discuss the software engineering and architectural decisions made in order to develop a flexible, extensible model which the community can easily customise for their own needs. The scalability of MONC is evaluated, along with numerous additional customisations made to further improve performance at large core counts. The result of this work is a model which delivers to the community significant new scientific modelling capability that takes advantage of the current and future generation HPC machines.

研究动机与目标

• 克服英国气象局 LEM 因过时的并行化假设而无法扩展至 512 核以上的问题。
• 在现代及未来的 HPC 系统上，实现对大气流、湍流及云微物理过程的高分辨率大涡模拟（LES）。
• 通过插件式架构提供灵活、可扩展且面向社区的代码库，便于自定义与科学功能扩展。
• 将数据处理与主模型循环解耦，以减少 I/O 和计算瓶颈，提升整体性能与可扩展性。

提出的方法

• 将 LEM 重构为组件化系统，使科学模块、求解器和 I/O 处理器可在运行时独立插拔。
• 实现 I/O 服务器模型，每个处理器的核心专门负责异步数据处理与 I/O，与主模拟时间步长解耦。
• 引入两种压力求解器——FFT 与迭代求解器，在 Cray XC30 系统上对 1,024 至 32,768 核进行弱扩展性评估。
• 将求解器重写为单精度，以减少数据移动并提升缓存效率，并与双精度基线进行性能对比。
• 使用干燥边界层案例的弱扩展性测试，在不同核心数与求解器类型下进行性能基准测试。
• 通过组件化设计实现动态性能调优，支持运行时无需重新编译即可替换求解器与 I/O 处理器。

实验结果

研究问题

• RQ1 现代插件式组件化软件架构能否使 LEM 在现代 HPC 系统上实现超过 512 核的扩展？
• RQ2 I/O 服务器模型如何通过将数据处理与主模拟循环解耦来提升性能？
• RQ3 在大规模核心数量下，FFT 求解器与迭代求解器在 LES 压力校正中的相对性能如何？
• RQ4 单精度算术在不牺牲可接受解精度的前提下，能在多大程度上提升性能？
• RQ5 灵活可扩展的架构如何支持未来硬件演进，如 GPU 加速或混合精度求解器？

主要发现

• MONC 可有效扩展至 32,768 核，显著优于 LEM 的 512 核限制。
• 在大规模核心数下，迭代压力求解器性能优于 FFT 求解器，在 32,768 核时将总运行时间减少 600 秒。
• 与双精度 FFT 求解器相比，单精度计算在 16,384 核时将运行时间减少 476 秒，且对解精度影响极小。
• I/O 服务器模型支持异步数据处理，使主模型无需等待 I/O 操作即可继续运行，显著提升效率。
• 组件化架构支持求解器与 I/O 组件的无缝替换，便于对性能关键组件进行快速实验。
• 该模型设计支持未来增强功能，如 GPU 加速组件与混合精度求解器，且需重构的工作量极小。