[论文解读] Synthetic Lagrangian Turbulence by Generative Diffusion Models

Tianyi Li, Luca Biferale+3 more|arXiv (Cornell University)|Jul 17, 2023

Hydrology and Drought AnalysisEnvironmental Science参考文献 80被引用 3

一句话总结

该论文提出一种扩散模型（DM），用于在高雷诺数湍流中生成合成的三维拉格朗日粒子轨迹，从而绕过昂贵的直接数值模拟（DNS）。该模型准确再现了跨所有时间尺度的多尺度统计特性——包括重尾速度增量、异常标度和增强的间歇性，且在极端事件上的泛化能力前所未有，生成的极端波动强度比训练DNS数据高出8倍。

ABSTRACT

Lagrangian turbulence lies at the core of numerous applied and fundamental problems related to the physics of dispersion and mixing in engineering, bio-fluids, atmosphere, oceans, and astrophysics. Despite exceptional theoretical, numerical, and experimental efforts conducted over the past thirty years, no existing models are capable of faithfully reproducing statistical and topological properties exhibited by particle trajectories in turbulence. We propose a machine learning approach, based on a state-of-the-art diffusion model, to generate single-particle trajectories in three-dimensional turbulence at high Reynolds numbers, thereby bypassing the need for direct numerical simulations or experiments to obtain reliable Lagrangian data. Our model demonstrates the ability to reproduce most statistical benchmarks across time scales, including the fat-tail distribution for velocity increments, the anomalous power law, and the increased intermittency around the dissipative scale. Slight deviations are observed below the dissipative scale, particularly in the acceleration and flatness statistics. Surprisingly, the model exhibits strong generalizability for extreme events, producing events of higher intensity and rarity that still match the realistic statistics. This paves the way for producing synthetic high-quality datasets for pre-training various downstream applications of Lagrangian turbulence.

研究动机与目标

• 为解决长期以来在所有时间尺度上（包括极端事件）忠实建模拉格朗日湍流统计特性的挑战。
• 开发一种数据驱动的生成模型，以绕过直接数值模拟（DNS）生成高质量拉格朗日轨迹数据的计算成本。
• 再现湍流的关键统计特征，如重尾速度增量分布、异常标度和间歇性，覆盖惯性尺度和耗散尺度范围。
• 实现大规模、高保真度合成数据集的创建，用于流体动力学和扩散建模中下游应用的预训练。
• 展示模型在未见时间尺度和极端波动上的泛化能力，无需微调。

提出的方法

• 在同质、各向同性湍流的直接数值模拟（DNS）生成的3D拉格朗日轨迹上训练条件扩散模型（DM）。
• 模型采用带有残差块和自注意力层的UNet架构，分辨率为250和125，DM-1c训练25万步，DM-3c训练40万步。
• 基于tanh-6-1轮廓的可学习噪声调度（N=800步）提升了训练效率与性能，显著减少对线性调度中4000步的需求。
• 损失函数定义为每一步扩散过程中预测噪声与去噪噪声之间的均方误差，最小化 $ L_n^{\text{simple}} = \mathbb{E}_{q(\mathcal{V}_0), \bm{\epsilon}_{\mathcal{V}_0,n}}[||\bm{\epsilon}_{\mathcal{V}_0,n} - \bm{\epsilon}_\theta(\mathcal{V}_n, n)||^2] $。
• 通过从标准高斯分布出发，逐步去噪800步，反转扩散过程生成轨迹。
• 训练数据包含多个时间延迟 $ \tau/\tau_\eta \in \{1, 2, 5, 100\} $ 下的速度增量 $ \delta_\tau V_i $，确保广泛的时间覆盖。

实验结果

研究问题

• RQ1 扩散模型能否生成在定量上复现3D湍流直接数值模拟中观察到的全部统计特性的合成拉格朗日轨迹？
• RQ2 该模型能否捕捉训练DNS数据集中未出现的、强度和稀有性更高的极端事件？
• RQ3 该模型是否保留了湍流的拓扑与动力学特征，如速度分量间的强相关性及类似涡旋的结构？
• RQ4 噪声调度的选择如何影响模型学习和生成复杂多尺度统计特性能力？
• RQ5 该模型能否在无需微调的情况下泛化至未观测的时间尺度和极端波动？

主要发现

• 扩散模型成功复现了所有时间延迟 $ \tau/\tau_\eta = 1, 2, 5, 100 $ 下速度增量的标准化概率密度函数（PDF），与DNS数据高度一致。
• 模型捕捉到速度增量的重尾分布，四阶峰度值在全部时间尺度范围内与DNS数据匹配。
• 模型在耗散尺度 $ \tau_\eta $ 附近表现出异常标度和增强的间歇性，与真实湍流数据一致。
• 模型对极端事件具有泛化能力，生成的速度波动强度可达50–60个标准差，其统计强度比训练DNS数据中观测到的最大值高出8倍。
• 模型生成的3D轨迹在速度分量间表现出高度振荡的相关性，视觉上与DNS中观察到的复杂涡旋结构相似。
• 采用tanh-6-1噪声调度显著降低了所需扩散步数（从4000步降至800步），同时在性能上优于线性和幂律调度。