[论文解读] Convolutional Neural Operators for robust and accurate learning of PDEs

Bogdan Raonić, R. Molinaro+6 more|arXiv (Cornell University)|Feb 2, 2023

Neural Networks and Applications被引用 37

一句话总结

本文提出了卷积神经算子（CNOs），一种基于CNN的算子学习框架，保持连续-离散等价性以学习PDE解算子，在多尺度PDE基准上具有普遍性和强的经验性能。

ABSTRACT

Although very successfully used in conventional machine learning, convolution based neural network architectures -- believed to be inconsistent in function space -- have been largely ignored in the context of learning solution operators of PDEs. Here, we present novel adaptations for convolutional neural networks to demonstrate that they are indeed able to process functions as inputs and outputs. The resulting architecture, termed as convolutional neural operators (CNOs), is designed specifically to preserve its underlying continuous nature, even when implemented in a discretized form on a computer. We prove a universality theorem to show that CNOs can approximate operators arising in PDEs to desired accuracy. CNOs are tested on a novel suite of benchmarks, encompassing a diverse set of PDEs with possibly multi-scale solutions and are observed to significantly outperform baselines, paving the way for an alternative framework for robust and accurate operator learning. Our code is publicly available at https://github.com/bogdanraonic3/ConvolutionalNeuralOperator

研究动机与目标

• 通过数据驱动的替代模型来加速查询、量化不确定性和优化，从而降低求解PDE的计算成本。
• 提出一种保持结构的CNN架构（CNO），将带带限函数映射到带带限函数以避免混叠并保持连续性。
• 证明一个普适近似定理，表明在适当条件下，CNO可以以任意精度近似PDE算子G†。
• 在多样的代表性PDE基准（RPB）上评估CNO，包括线性、非线性、椭圆、双曲、抛物PDE及多尺度解；与基线比较并评估对分布外输入的一般化能力。

提出的方法

• 在带带限函数空间上定义算子学习以实现连续-离散等价性（CDE）。
• 将CNO实现为一个修改的算子U-Net，包含提升P、卷积K_l、激活Sigma以及带带限空间之间的投影Q。
• 确保激活函数、上/下采样和ResNet样块显式保持带限以避免混叠并保留多尺度内容。
• 证明CNO是一个表示等价神经算子（ReNO），确保分辨率不变的行为和无混叠的性能。
• 证明一个普适近似定理：对任意适当的PDE算子G†，存在一个CNO G使其在有界输入上以任意ε近似G†。

实验结果

研究问题

• RQ1 CNO能否在带带限空间内对广义PDE类的解算子实现任意精度的近似？
• RQ2 CNO是否满足表示等价性和分辨率不变性以避免在不同离散化下的混叠？
• RQ3 在多尺度PDE基准上，CNO与最先进的算子学习器（FNO、DeepONet、GT）相比如何？
• RQ4 CNO是否能对分布外输入进行泛化并在不同分辨率下保持性能？

主要发现

• CNO在代表性PDE基准（RPB）上的分布内和分布外测试中普遍优于基线，除了Allen-Cahn在该任务上FNO占优。
• CNO表现出分辨率不变性，与FNO和U-Net不同，展示了连续-离散等价性。
• CNO的谱特性更有利，混叠更少，数据效率更高，在达到目标误差所需样本更少且训练速度更快。
• CNO在泊松、波动、输运、Navier–Stokes、Darcy和Euler相关任务上展现出强大的多尺度处理能力，且表现与基线相比具有竞争力甚至优越。
• FNO在若干任务上表现强劲，但可能出现混叠和重采样下的不变性问题，凸显CDE保持设计的优势。
• 该研究提供了公开代码和一个新的代表性PDE基准套件以基准算子学习方法。