[论文解读] Benchmarking Autoregressive Conditional Diffusion Models for Turbulent Flow Simulation

Georg Kohl, Liwei Chen+1 more|arXiv (Cornell University)|Sep 4, 2023

Model Reduction and Neural Networks被引用 12

一句话总结

该论文提出并基准测试了自回归条件扩散模型（ACDM）用于概率性湍流流动模拟，采用去噪得分生成建模方法，实现稳定、长时程的预测。尽管结构简单，ACDM在准确性和时间稳定性方面优于多种成熟的网络架构，同时能生成多样化且符合物理规律的样本，其性能可与最先进的一维展开技术相媲美。

ABSTRACT

Simulating turbulent flows is crucial for a wide range of applications, and machine learning-based solvers are gaining increasing relevance. However, achieving temporal stability when generalizing to longer rollout horizons remains a persistent challenge for learned PDE solvers. In this work, we analyze if fully data-driven fluid solvers that utilize an autoregressive rollout based on conditional diffusion models are a viable option to address this challenge. We investigate accuracy, posterior sampling, spectral behavior, and temporal stability, while requiring that methods generalize to flow parameters beyond the training regime. To quantitatively and qualitatively benchmark the performance of various flow prediction approaches, three challenging 2D scenarios including incompressible and transonic flows, as well as isotropic turbulence are employed. We find that even simple diffusion-based approaches can outperform multiple established flow prediction methods in terms of accuracy and temporal stability, while being on par with state-of-the-art stabilization techniques like unrolling at training time. Such traditional architectures are superior in terms of inference speed, however, the probabilistic nature of diffusion approaches allows for inferring multiple predictions that align with the statistics of the underlying physics. Overall, our benchmark contains three carefully chosen data sets that are suitable for probabilistic evaluation alongside various established flow prediction architectures.

研究动机与目标

• 评估自回归条件扩散模型是否可作为湍流流动模拟的可行、稳定且准确的代理模型。
• 比较基于扩散的模型与现有深度学习架构在准确性、时间稳定性及后验采样质量方面的性能表现。
• 评估模型在训练范围之外的流动参数上的泛化能力，这是学习型PDE求解器面临的关键挑战。
• 提供一个全面的基准测试，包含三个精心筛选的二维湍流流动数据集，并公开源代码以确保可复现性。

提出的方法

• 该方法采用一种条件扩散模型，通过逆转流场上的加噪过程进行训练，从而实现自回归滚动预测，支持长时程预测。
• 使用基于U-Net的U-Net架构作为去噪主干网络，并通过位置编码实现时间条件控制。
• 模型采用去噪得分匹配目标进行训练，最小化预测流场状态与真实流场状态之间的均方误差。
• 滚动预测采用自回归方式：每一步均以前一预测结果作为输入，并在扩散步骤中逐步降低噪声。
• 该方法支持后验采样，可从单一初始条件生成多个符合物理规律的轨迹。
• 基准测试涵盖多种架构（ResNet、FNO、U-Net、Transformer、Refiner），并在不可压缩流、跨音速流及各向同性湍流等场景下评估泛化性能。

实验结果

研究问题

• RQ1 与现有深度学习模型相比，自回归条件扩散模型在长时程湍流流动预测中是否能实现具有竞争力的准确性和时间稳定性？
• RQ2 基于扩散的模型在分布外流动参数上的泛化性能如何？
• RQ3 扩散模型生成的后验样本在多大程度上与湍流的统计物理度量（如能量谱和结构函数）一致？
• RQ4 扩散步骤数、训练滚动长度及噪声调度的选择如何影响模型性能与稳定性？
• RQ5 在训练阶段不使用复杂稳定化技术（如一维展开）时，简单的扩散模型是否仍能超越复杂稳定化方法？

主要发现

• ACDM在时间稳定性和准确性方面达到最先进水平，其性能与U-Net结合一维展开的复杂架构相当或更优。
• 即使未进行任何架构增强，简单的ACDM在长时程滚动预测中仍优于多个强基线模型，尤其在保持与物理湍流一致的谱特性方面表现突出。
• 该模型能生成多样化且符合物理规律的后验样本，支持不确定性量化——这是确定性模型所不具备的。
• 消融实验表明，更长的训练滚动长度和合适的噪声调度能显著提升泛化能力与稳定性。
• 50至100步去噪的扩散模型在样本质量与推理速度之间达到最佳权衡，而500步时收益递减。
• 该基准测试表明，概率性扩散模型是确定性求解器的可行替代方案，尤其适用于需要不确定性感知预测的场景。