[论文解读] PDEformer: Towards a Foundation Model for One-Dimensional Partial Differential Equations

Zhanhong Ye, Xiang Huang+4 more|arXiv (Cornell University)|Feb 20, 2024

Numerical methods for differential equations被引用 4

一句话总结

PDEformer 通过将偏微分方程（PDE）的符号形式表示为计算图，并结合图注意力网络与隐式神经表示（INR），提出了一种用于一维偏微分方程（PDEs）的基础模型，以生成无网格的解。该模型在多样化 PDE 上进行预训练，在基准数据集上实现了卓越的零样本精度，并在逆系数恢复任务中表现出色，即使在噪声条件下也具有很强的鲁棒性。

ABSTRACT

This paper introduces PDEformer, a neural solver for partial differential equations (PDEs) capable of simultaneously addressing various types of PDEs. We propose to represent the PDE in the form of a computational graph, facilitating the seamless integration of both symbolic and numerical information inherent in a PDE. A graph Transformer and an implicit neural representation (INR) are employed to generate mesh-free predicted solutions. Following pretraining on data exhibiting a certain level of diversity, our model achieves zero-shot accuracies on benchmark datasets that is comparable to those of specifically trained expert models. Additionally, PDEformer demonstrates promising results in the inverse problem of PDE coefficient recovery.

研究动机与目标

• 开发一种可泛化的基础模型，用于一维 PDE，实现对多样化 PDE 类型的零样本推理能力。
• 在统一的神经网络架构中无缝整合符号信息（PDE 形式）与数值信息（系数、初值/边界条件）。
• 实现有效的迁移学习与少量样本适应能力，使新 PDE 的微调需求最小化。
• 在逆问题（如系数恢复）中表现出色，即使观测数据含有噪声。
• 建立一个可扩展且通用的框架，用于下游 PDE 任务，而不仅限于正向解的预测。

提出的方法

• 将符号 PDE 形式表示为具有异构节点类型（如未知场、系数、初值、运算操作）的有向无环计算图。
• 为每个节点分配特征向量：标量系数在特征维度上重复，初值被分割为补丁以进行嵌入。
• 使用图注意力网络编码计算图的结构与特征信息。
• 采用隐式神经表示（INR）预测空间与时间上的连续、无网格解。
• 在多样化的一维 PDE 上预训练模型，以学习通用的 PDE 模式与动力学特性。
• 通过仅使用少量解快照或直接输入 PDE 形式，对新 PDE 进行微调或零样本推理。

Figure 1: PDEformer architecture, taking $\mathcal{F}(u,c)=u_{t}+cu_{x}$ as the example.

实验结果

研究问题

• RQ1 单一神经网络模型是否能在无需任务特定微调的情况下，对多样化的一维 PDE 实现高零样本精度？
• RQ2 当在多样化预训练分布上进行训练时，基础模型对未见 PDE 类型的泛化能力如何？
• RQ3 在逆问题中，该模型在多大程度上能从含噪声的解观测中准确恢复未知的 PDE 系数？
• RQ4 通过计算图将符号信息与数值信息相结合，与纯数值或基于语言模型的方法相比，是否能显著提升泛化能力？
• RQ5 与传统数值求解器和专家神经算子相比，该模型在推理速度与精度之间存在何种权衡？

主要发现

• 在 1D 对流方程上，PDEformer 的相对 $L^2$ 误差为 0.0075，优于 FNO（0.0097）与 DeepONet（0.0187）的零样本推理表现。
• 该模型在基准数据集上的零样本精度超越了充分微调的专家模型，展现出强大的泛化能力。
• 在逆系数恢复任务中，即使在噪声水平高达 $r = 0.1$ 的情况下，PDEformer 仍能以高精度恢复系数，大多数情况下的相对误差低于 5%。
• 模型在不同噪声水平下保持一致的性能，预测解在存在噪声时仍与真实观测高度吻合。
• PDEformer 的单次推理时间仅为 8.76ms（单个 NPU），显著快于传统求解器 FD（2072.3ms）与 Dedalus（410.8ms）。
• 在 40 个随机 PDE 样本的逆问题中，模型性能保持稳定，对多种 PDE 形式的系数恢复准确率一致。

(a)