[论文解读] Alya: Towards Exascale for Engineering Simulation Codes

Mariano Vázquez, Guillaume Houzeaux+10 more|arXiv (Cornell University)|Apr 18, 2014

Advanced Numerical Methods in Computational Mathematics参考文献 14被引用 23

一句话总结

本文介绍了Alya，一种为工程应用中的百亿亿次计算量身定制的高性能多物理场仿真代码。它在Blue Waters超级计算机上实现了高达100,000个核心的持续可扩展性与高并行效率，成功利用非结构化网格和混合MPI+OpenMP并行化方式，结合自定义稀疏求解器，解决了流体动力学、燃烧和机电系统中的复杂耦合问题。

ABSTRACT

Alya is the BSC in-house HPC-based multi-physics simulation code. It is designed from scratch to run efficiently in parallel supercomputers, solving coupled problems. The target domain is engineering, with all its particular features: complex geome- tries and unstructured meshes, coupled multi-physics with exotic coupling schemes and Physical models, ill-posed problems, flexibility needs for rapidly including new models, etc. Since its conception in 2004, Alya has shown scaling behaviour in an increasing number of cores. In this paper, we present its performance up to 100.000 cores in Blue Waters, the NCSA supercomputer. The selected tests are representative of the engineering world, all the problematic features included: incompressible flow in a hu- man respiratory system, low Mach combustion problem in a kiln furnace and coupled electro-mechanical problem in a heart. We show scalability plots for all cases, discussing all the aspects of such kind of simulations, including solvers convergence.

研究动机与目标

• 通过专为百亿亿次计算准备而设计的高性能计算（HPC）代码，实现大规模耦合多物理场仿真的目标。
• 应对在复杂几何形状、非结构化网格以及具有特殊耦合方案的紧密耦合物理问题中进行仿真的挑战。
• 在百亿亿次超级计算机上实现高并行效率和可扩展性，特别是在真实工程问题的背景下。
• 评估在数万个核心上使用自研混合并行求解器堆栈（MPI + OpenMP）及内部稀疏线性求解器的性能。
• 通过在多样化、真实的仿真工作负载中验证可扩展性和收敛行为，为工程领域的百亿亿次计算奠定基础。

提出的方法

• Alya是一种从零开始构建的模块化多物理场代码，专为并行超级计算设计，采用非结构化混合网格（四面体、六面体、棱柱、锥体）上的变分有限元方法。
• 该代码采用显式和隐式时间积分格式，结合单体或交错耦合策略，尤其偏好在大规模问题中使用带有耦合迭代的交错方案。
• 通过METIS进行域分解实现并行化，使用MPI实现分布式内存并行，使用OpenMP在计算密集型循环中实现共享内存并行，从而支持混合MPI+OpenMP执行。
• 自定义稀疏线性求解器与并行化方案紧密集成，避免依赖第三方库，针对非结构化网格优化性能。
• 网格子划分作为管理大规模仿真的一项关键技术，可在大规模核心数量下实现高效的负载均衡与可扩展性。
• 代码采用通过分部积分推导出的弱形式来表达守恒定律的变分公式，从而在复杂域上实现稳定且一致的离散化。

实验结果

研究问题

• RQ1 多物理场仿真代码是否能在100,000个核心上对复杂工程问题实现高并行效率和可扩展性？
• RQ2 Alya的混合MPI+OpenMP并行化策略在大规模非结构化网格上，于多样化物理领域中的表现如何？
• RQ3 当应用于耦合的、不适定的或非线性问题（如不可压缩流或机电耦合）时，Alya中隐式求解器的可扩展性和收敛行为如何？
• RQ4 使用网格子划分和域分解在百亿亿次系统中是否能有效维持负载均衡与性能？
• RQ5 从百亿亿次向百亿亿次仿真过渡过程中，性能瓶颈和关键需求是什么？

主要发现

• Alya在Blue Waters上实现了高达100,000个核心的持续并行效率，可扩展性图表显示在三个基准问题（呼吸流动、窑炉燃烧、心脏电-机械耦合）中均保持一致的性能表现。
• DIV3案例（采用网格子划分）在100,000个核心下仍保持高度高效的可扩展性，表明网格管理策略在大规模下对性能维持至关重要。
• 当以32,768个核心而非1,024个核心作为归一化基准时，DIV2案例显示出更好的可扩展性，表明在极端核心数量下，负载均衡和分区质量对可扩展性有显著影响。
• 隐式求解器在所有测试案例中均表现出稳健的收敛性，收敛行为分析表明即使在包含数十亿个单元的大规模非结构化网格上也保持稳定。
• 通过将自定义稀疏求解器与并行化层紧密耦合，实现了高性能，且无需依赖外部库，从而提升了可扩展性和可维护性。
• 后处理I/O使用HDF5被识别为潜在瓶颈，凸显了未来百亿亿次工作流中优化I/O堆栈的必要性。