[论文解读] Eagle: Large-Scale Learning of Turbulent Fluid Dynamics with Mesh Transformers

Steeven Janny, Aurélien Beneteau+4 more|arXiv (Cornell University)|Feb 16, 2023

Model Reduction and Neural Networks被引用 5

一句话总结

本文提出EAGLE，一个包含110万组2D流体动力学模拟的大规模数据集，涵盖移动无人机在复杂几何结构中产生的非定常、湍流流动。该研究提出一种基于节点聚类、图池化和全局注意力机制的网格Transformer模型，能够高效捕捉长程依赖关系，在单次前向推理中动态关注气流，其性能优于现有最先进模型，在EAGLE数据集及现有基准测试中均表现更优。

ABSTRACT

Estimating fluid dynamics is classically done through the simulation and integration of numerical models solving the Navier-Stokes equations, which is computationally complex and time-consuming even on high-end hardware. This is a notoriously hard problem to solve, which has recently been addressed with machine learning, in particular graph neural networks (GNN) and variants trained and evaluated on datasets of static objects in static scenes with fixed geometry. We attempt to go beyond existing work in complexity and introduce a new model, method and benchmark. We propose EAGLE, a large-scale dataset of 1.1 million 2D meshes resulting from simulations of unsteady fluid dynamics caused by a moving flow source interacting with nonlinear scene structure, comprised of 600 different scenes of three different types. To perform future forecasting of pressure and velocity on the challenging EAGLE dataset, we introduce a new mesh transformer. It leverages node clustering, graph pooling and global attention to learn long-range dependencies between spatially distant data points without needing a large number of iterations, as existing GNN methods do. We show that our transformer outperforms state-of-the-art performance on, both, existing synthetic and real datasets and on EAGLE. Finally, we highlight that our approach learns to attend to airflow, integrating complex information in a single iteration.

研究动机与目标

• 为解决当前用于训练深度学习模型的流体动力学数据集在规模、多样性与真实性方面的不足。
• 开发一种可扩展且高效的深度学习模型，能够在动态网格上预测复杂、非定常且湍流的流体流动。
• 通过捕捉长程空间依赖关系，实现在无需迭代消息传递的前提下，对压力场与速度场进行准确的单步预测。
• 在不同场景几何结构中实现良好泛化能力，并对网格分辨率变化保持鲁棒性。
• 提供公开可获取的基准数据集与模型，以加速可微分流体模拟与物理信息学习领域的研究。

提出的方法

• 作者构建了EAGLE数据集，包含约110万组2D非结构化网格，模拟了在三种几何类型（台阶、样条、三角形）共600个场景中，移动无人机产生的湍流气流。
• 提出一种网格Transformer模型，通过节点聚类减少token数量，从而实现在粗化网格表示上高效计算全局自注意力机制。
• 采用图池化将节点特征聚合为簇级别表示，降低计算复杂度，同时保留空间结构信息。
• 全局注意力机制使模型能够在单次前向传播中关注空间上相距较远的节点，实现无需迭代GNN式消息传递的长程依赖建模。
• 模型使用自回归Transformer解码器，对多个时间步的压力与速度场进行预测，并在网格拓扑上引入学习的位置编码。
• 消融实验验证了动态注意力与聚类的重要性，表明当注意力受限或替换为平均操作时，性能显著下降。

实验结果

研究问题

• RQ1 能否构建一个大规模、多样化且高保真的非定常湍流流体流动数据集，以支持深度学习模型的泛化能力？
• RQ2 如何在不依赖迭代图神经网络消息传递的前提下，使深度学习模型高效捕捉复杂流体动力学中的长程依赖关系？
• RQ3 基于网格的Transformer中，自注意力机制在多大程度上能动态对齐物理流动结构（如涡流与气流路径）？
• RQ4 图池化与聚类是否能同时提升不规则网格上流体动力学预测的效率与性能？
• RQ5 该模型在未见几何结构与不同网格分辨率下的泛化能力如何？数据多样性对泛化性能的影响是什么？

主要发现

• EAGLE数据集包含600个多样化场景中的110万组2D流体模拟网格，涵盖移动无人机产生的非定常、高度湍流的气流，是目前公开可用的同类数据集中规模最大的。
• 所提出的网格Transformer模型在公共基准（Cylinder-Flow、Scalar-Flow）及EAGLE数据集上均优于现有最先进模型（包括MeshGraphNet），N-RMSE得分更低。
• 消融实验表明，禁用长程注意力后，某些几何结构上的N-RMSE最高上升67%，证明全局注意力对性能至关重要。
• 模型能动态关注气流模式，特定注意力头与预测的气流方向对齐，表明具备物理可解释性与有效的长程建模能力。
• 聚类显著降低推理时间与FLOPs，最多减少50%，且在消融实验中即使采用激进的聚类规模，模型仍保持鲁棒性。
• 泛化实验表明，若从训练中移除任一几何类型，MeshGraphNet的性能最高下降67%，而所提模型仅下降10–15%，证明其具备更优的泛化能力。