[论文解读] Integrating Neural Operators with Diffusion Models Improves Spectral Representation in Turbulence Modeling

Vivek Oommen, Aniruddha Bora+2 more|arXiv (Cornell University)|Sep 13, 2024

Energy Load and Power Forecasting被引用 6

一句话总结

本文将神经算子与扩散模型相结合，以克服湍流代理中的谱偏差，在多组数据集和多种神经算子体系结构下获得更好的能量谱和谱保真度。

ABSTRACT

We integrate neural operators with diffusion models to address the spectral limitations of neural operators in surrogate modeling of turbulent flows. While neural operators offer computational efficiency, they exhibit deficiencies in capturing high-frequency flow dynamics, resulting in overly smooth approximations. To overcome this, we condition diffusion models on neural operators to enhance the resolution of turbulent structures. Our approach is validated for different neural operators on diverse datasets, including a high Reynolds number jet flow simulation and experimental Schlieren velocimetry. The proposed method significantly improves the alignment of predicted energy spectra with true distributions compared to neural operators alone. This enables the diffusion models to stabilize longer forecasts through diffusion-corrected autoregressive rollouts, as we demonstrate in this work. Additionally, proper orthogonal decomposition analysis demonstrates enhanced spectral fidelity in space-time. This work establishes a new paradigm for combining generative models with neural operators to advance surrogate modeling of turbulent systems, and it can be used in other scientific applications that involve microstructure and high-frequency content. See our project page: vivekoommen.github.io/NO_DM

研究动机与目标

• 激发并解决神经算子在代理湍流建模中的谱限制。
• 提出一个将扩散模型条件化于神经算子输出以恢复高频内容的框架。
• 在多种神经算子体系结构和多样化的湍流水数据集上展示该方法。
• 通过谱统计和POD分析与仅使用神经算子的方法进行对比，以量化改进。

提出的方法

• 训练神经算子在函数空间之间建立映射并捕获主导的低频模态。
• 训练一个基于分数的扩散模型，其输出条件化于神经算子的输出，通过去噪分数匹配来逼近真实分布。
• 在扩散模型中使用退火 Langevin 动力学采样，以生成以神经算子先验为条件的预测。
• 在 Kolmogorov 流、浮力驱动的传输、湍流水翼尾流、三维湍流射流以及 Schlieren velocimetry 数据上评估该框架。
• 将能量谱和 POD 模态与真实值进行比较，以评估谱保真度。

实验结果

研究问题

• RQ1 在湍流水中，条件化于神经算子输出的扩散模型是否能缓解谱偏差和神经算子的过度平滑？
• RQ2 条件化的扩散模型是否在不同流动状态和神经算子体系结构下改善能量谱与 POD 模态与真实值的一致性？
• RQ3 该方法是否在 2D/3D 流动以及如 Schlieren velocimetry 这样的实验数据上具有鲁棒性？
• RQ4 在湍流代理建模中，神经算子与基于扩散的校正之间的计算权衡是什么？

主要发现

• 在神经算子上条件化的扩散模型能够恢复更高频内容并减少神经算子预测中观察到的 Gibbs 振荡。
• 经扩散条件化的预测在多个案例和神经算子架构（FNO、UNet、MATCHO）中，与真实能量谱的对齐更好。
• POD 分析表明，与单独的神经算子相比，谱保真度更高、能量衰减和模态更准确。
• 该方法适用于雷诺数从 2000 到 10^6 的情形，且包括 2D/3D 的 LES 与 Schlieren 实验数据。
• 扩散模型每次推理花费的时间多于神经算子，但仍显著快于 DNS/LES 求解器。