[论文解读] Dataset for DiffusionPDE

Jiahe Huang|arXiv (Cornell University)|Jun 25, 2024

Advanced Multi-Objective Optimization Algorithms被引用 6

一句话总结

该论文提出 DiffusionPDE，一种生成式扩散模型，通过联合学习偏微分方程（PDE）系数和解的分布，以在高度不完全观测（通常仅为1–3%的数据点）下求解前向和反向PDE问题。通过在去噪过程中同时施加PDE约束和观测约束，该方法在前向和反向设置下均优于当前最先进方法，能够从稀疏传感器数据中准确重建完整解，例如仅使用五个传感器即可恢复Burgers方程。

ABSTRACT

We introduce a general framework for solving partial differential equations (PDEs) using generative diffusion models. In particular, we focus on the scenarios where we do not have the full knowledge of the scene necessary to apply classical solvers. Most existing forward or inverse PDE approaches perform poorly when the observations on the data or the underlying coefficients are incomplete, which is a common assumption for real-world measurements. In this work, we propose DiffusionPDE that can simultaneously fill in the missing information and solve a PDE by modeling the joint distribution of the solution and coefficient spaces. We show that the learned generative priors lead to a versatile framework for accurately solving a wide range of PDEs under partial observation, significantly outperforming the state-of-the-art methods for both forward and inverse directions.

研究动机与目标

• 解决经典和基于学习的PDE求解器的局限性，即这些方法通常需要完整的系数或状态信息，而这类信息在真实场景中极少可得。
• 开发一种统一框架，能够在仅获得系数或解的稀疏、部分观测时，求解前向和反向PDE问题。
• 仅使用一个预训练的生成模型，即可从最少的、任意模式的观测中，准确重建完整的PDE解和底层系数。
• 通过联合学习系数空间和解空间的分布，建模不确定性，从而克服现有数据驱动求解器在不完全观测下的失败问题。

提出的方法

• 在PDE系数（a）和解（u）的联合分布上训练扩散模型，实现对两个空间的端到端学习。
• 在推理阶段，通过基于分数的引导，迭代去噪高斯噪声，同时对稀疏观测和PDE约束进行条件控制。
• 通过可微分的PDE损失实现PDE引导，确保在每个去噪步骤中生成的样本均满足底层PDE。
• 通过在系数（a）或解（u）（或两者）的稀疏、任意模式测量上条件化去噪过程，实现观测引导。
• 使用单一预训练的扩散模型，处理多种PDE类型（包括Darcy流、Poisson方程、Helmholtz方程、Burgers方程和Navier-Stokes方程），适用于不同观测密度和分辨率。
• 利用扩散模型强大的先验能力，对缺失数据中的不确定性进行建模，生成与观测和物理定律一致的合理补全结果。

实验结果

研究问题

• RQ1 单一生成模型是否能有效从稀疏、部分观测中，在前向和反向PDE问题中同时重建PDE系数和解？
• RQ2 当观测密度降低时，DiffusionPDE的性能如何变化，特别是在总数据点低于3%时？
• RQ3 DiffusionPDE在不重新训练的情况下，对不同PDE类型、分辨率和观测模式的泛化能力如何？
• RQ4 扩散过程中的不确定性在预测中如何体现，特别是在相同PDE下使用不同噪声种子时？
• RQ5 在稀疏观测条件下，DiffusionPDE与经典方法和基于学习的基线方法（如RBF核、U-Net）相比，在准确性和鲁棒性方面表现如何？

主要发现

• 在多种PDE上，仅使用1–3%的观测点（无论针对系数a还是解u），DiffusionPDE在解恢复（u）方面实现了约2%的相对误差。
• 在反向问题中，DiffusionPDE在3%观测密度下对Darcy流的反向误差率为3.2%至4.3%，显著优于RBF核（141.2%误差）和U-Net（100.9%误差）。
• 该模型仅使用五个时间序列传感器，即可恢复Burgers方程的完整状态，展现出强大的实际应用潜力。
• DiffusionPDE在分辨率（64×64至256×256）范围内保持一致性能，Darcy流的前向相对误差为2.5%至3.1%，反向误差率为3.2%至4.1%。
• 当观测点数量超过约3%的数据点后，模型性能对观测数量不敏感，表明其对稀疏输入具有鲁棒性。
• 不同噪声种子产生各异但物理解释合理的预测结果，表明模型能够捕捉缺失数据中的不确定性，同时保持PDE一致性。