[论文解读] Diffusion model based data generation for partial differential equations

Rucha Apte, Sheel Nidhan+2 more|arXiv (Cornell University)|Jun 19, 2023

Computational Physics and Python Applications被引用 4

一句话总结

该论文提出了一种基于扩散模型的数据生成框架，用于物理仿真，利用去噪扩散隐式模型（DDIM）合成二维泊松方程和纳维-斯托克斯方程的高保真解。通过应用基于物理的约束——PDE残差最小化和求解器对比——该方法实现了物理一致、多样且统计准确的合成数据，纳维-斯托克斯方程的MSE低至8×10⁻³，泊松方程的MSE低至1.5×10⁻⁴。

ABSTRACT

In a preliminary attempt to address the problem of data scarcity in physics-based machine learning, we introduce a novel methodology for data generation in physics-based simulations. Our motivation is to overcome the limitations posed by the limited availability of numerical data. To achieve this, we leverage a diffusion model that allows us to generate synthetic data samples and test them for two canonical cases: (a) the steady 2-D Poisson equation, and (b) the forced unsteady 2-D Navier-Stokes (NS) {vorticity-transport} equation in a confined box. By comparing the generated data samples against outputs from classical solvers, we assess their accuracy and examine their adherence to the underlying physics laws. In this way, we emphasize the importance of not only satisfying visual and statistical comparisons with solver data but also ensuring the generated data's conformity to physics laws, thus enabling their effective utilization in downstream tasks.

研究动机与目标

• 通过使用扩散模型生成合成仿真数据，解决物理机器学习中的数据稀缺问题。
• 确保生成的数据不仅在统计或视觉上与求解器输出相似，还严格遵守底层物理定律。
• 证明无条件扩散模型在生成经典PDE物理一致解方面的可行性。
• 评估基于物理的过滤方法在从生成分布中筛选高质量、物理有效的样本方面的有效性。
• 为科学机器学习中的可扩展、可泛化数据生成奠定基础，未来可扩展至超分辨率和参数条件化。

提出的方法

• 使用具有U-Net架构的去噪扩散隐式模型（DDIM），从高斯噪声生成合成PDE解。
• 在1000步前向过程和500步反向采样过程中采用余弦噪声调度，以在保持质量的同时加速生成。
• 对于二维泊松方程，将解 $ u $ 和源项 $ f $ 分别作为U-Net的独立通道输入。
• 对于时间依赖的纳维-斯托克斯问题，将多个时间步编码为U-Net输入中的独立通道。
• 应用基于物理的过滤：对于泊松方程，选择PDE残差MSE最小的样本（$ |\nabla^2 u - f| $）；对于纳维-斯托克斯方程，将生成的快照与经典求解器输出进行对比。
• 采用500步DDIM采样过程，从随机噪声生成去噪输出，实现高效且多样的样本生成。

Figure 1: Four $[f_{\mathrm{generated}},u_{\mathrm{generated}}]$ pairs generated from diffusion model (first two columns from left), $u_{\mathrm{solver}}$ generated from the corresponding $f$ (third column), PDE residual calculated using generated $[f,u]$ pairs (fourth column). $\mathrm{MSE}$ of PDE

实验结果

研究问题

• RQ1 扩散模型能否生成在视觉和统计上均与经典求解器输出相似的PDE合成数据？
• RQ2 在训练过程中未显式编码物理信息的情况下，扩散生成的数据在多大程度上能遵守底层物理定律？
• RQ3 基于物理的后处理过滤方法（如PDE残差或求解器对比）在筛选物理一致样本方面的有效性如何？
• RQ4 生成的数据是否具备足够的多样性与新颖性，以在科学计算的下游机器学习任务中发挥作用？
• RQ5 对于泊松和纳维-斯托克斯等经典PDE，扩散生成与求解器生成的解在定量和定性上存在哪些差异？

主要发现

• 该扩散模型成功为二维泊松方程和二维纳维-斯托克斯方程生成了在视觉和统计上均一致的样本。
• 对于二维泊松方程，网格上PDE残差MSE最低达到1.5×10⁻⁴，表明对控制方程的强遵循性。
• 对于二维纳维-斯托克斯涡度输运方程，扩散生成与求解器生成快照之间的MSE在前四个时间步约为8×10⁻³。
• 在MSE较高（0.045）的情况下，流场动力学仍保持定性一致，生成和求解器输出中均观察到[0.5, 0.5]附近的涡旋卷起现象。
• 扩散生成数据的平均涡度场定性再现了由强迫函数引起的倾斜斑块结构，尽管正涡度斑块在生成数据中更为显著。
• 视觉检查确认，生成样本表现出高度多样性与独特特征，表明对解空间的有效探索。

Figure 2: Diffusion- and solver-generated vorticity snapshots for 2-D forced NS system. Top two rows correspond to $\mathrm{MSE}$ $\approx 8\times 10^{-3}$ between solver-generated and diffusion-generated snapshots. Bottom two rows correspond to $\mathrm{MSE}\approx 0.045$ .