[论文解读] A Solver for Massively Parallel Direct Numerical Simulation of Three-Dimensional Multiphase Flows

Seungwon Shin, Jalel Chergui+1 more|arXiv (Cornell University)|Oct 30, 2014

Fluid Dynamics and Heat Transfer参考文献 37被引用 5

一句话总结

本文提出了一种大规模并行、全三维直接数值模拟求解器，用于多相流，采用基于MPI的域分解方法，结合混合前沿追踪/水平集方法（LCRM）。该求解器在最高达65,536个线程的规模下实现了高可扩展性，并在分辨率高达1024³时成功模拟了复杂的界面动力学现象，如液滴飞溅、冠状结构形成及边缘不稳定性，展示了在具有不连续物性参数的刚性流体系统中，使用并行GMRES和多重网格求解器的强大性能。

ABSTRACT

We present a new solver for massively parallel simulations of fully three-dimensional multiphase flows. The solver runs on a variety of computer architectures from laptops to supercomputers and on 65536 threads or more (limited only by the availability to us of more threads). The code is wholly written by the authors in Fortran 2003 and uses a domain decomposition strategy for parallelization with MPI. The fluid interface solver is based on a parallel implementation of the LCRM hybrid Front Tracking/Level Set method designed to handle highly deforming interfaces with complex topology changes. We discuss the implementation of this interface method and its particular suitability to distributed processing where all operations are carried out locally on distributed subdomains. We have developed parallel GMRES and Multigrid iterative solvers suited to the linear systems arising from the implicit solution of the fluid velocities and pressure in the presence of strong density and viscosity discontinuities across fluid phases. Particular attention is drawn to the details and performance of the parallel Multigrid solver. The code includes modules for flow interaction with immersed solid objects, contact line dynamics, species and thermal transport with phase change. Here, however, we focus on the simulation of the canonical problem of drop splash onto a liquid film and report on the parallel performance of the code on varying numbers of threads. The 3D simulations were run on mesh resolutions up to $1024^3$ with results at the higher resolutions showing the fine details and features of droplet ejection, crown formation and rim instability observed under similar experimental conditions. Keywords:

研究动机与目标

• 实现对具有高度形变界面的复杂多相流进行大规模、全三维直接数值模拟。
• 开发一种可扩展、可移植的求解器，可在从笔记本电脑到百亿亿次级系统的各类架构上高效运行。
• 以高保真度准确模拟界面动力学现象，如拓扑变化、接触线运动以及相变过程。
• 应对求解具有强密度与粘度对比的刚性流体系统所带来的计算挑战。

提出的方法

• 实现一种并行混合前沿追踪/水平集方法（LCRM），用于在三维空间中追踪复杂且发生拓扑变化的流体界面。
• 采用基于MPI的域分解技术，实现负载均衡，并高效分配数千个线程的计算任务。
• 开发专用于隐式时间积分求解纳维-斯托克斯方程所产生线性系统的并行GMRES与多重网格迭代求解器，适用于具有不连续材料属性的系统。
• 在子域上实施局部操作，以保证数据局部性，并最小化分布式内存系统中的通信开销。
• 集成浸入固体物体、接触线动力学以及物种/热传输与相变的模块。
• 采用自适应网格加密与隐式时间推进方法，以在解析细尺度界面现象时保持稳定性和精度。

实验结果

研究问题

• RQ1 如何设计一种大规模并行求解器，以高效模拟具有复杂界面拓扑变化的三维多相流？
• RQ2 该求解器在大规模分布式系统上的可扩展性与性能表现如何，最高可达65,536个线程？
• RQ3 该求解器能否准确解析实验中观察到的细尺度特征，如液滴喷射、冠状结构形成及边缘不稳定性？
• RQ4 并行多重网格与GMRES求解器在处理因流体相间强密度与粘度对比导致的刚性问题时，其有效性如何？
• RQ5 采用完全隐式、单体化方法模拟复杂界面动力学时，能达到怎样的分辨率与精度水平？

主要发现

• 该求解器在最高达65,536个线程的规模下实现了稳定且可扩展的性能，其上限仅受硬件资源限制。
• 在1024³分辨率下的模拟成功捕捉了实验中观察到的液滴喷射、冠状结构形成及边缘不稳定性等特征。
• 并行多重网格求解器在处理隐式时间积分产生的线性系统时表现出极高效率，即使在存在强材料不连续性的情况下亦然。
• 混合LCRM方法在处理复杂界面拓扑变化（如破裂与重新连接）方面表现出高精度与高效性。
• 该代码在从笔记本电脑到领导级超算系统的各类架构上均展现出优异的可移植性与性能表现。
• 引入接触线动力学与相变模块，使得模拟能够超越理想化流动场景，实现更真实的物理过程。