[论文解读] Kernel Neural Operators (KNOs) for Scalable, Memory-efficient, Geometrically-flexible Operator Learning

Matthew Lowery, John Turnage+5 more|arXiv (Cornell University)|Jun 30, 2024

Neural Networks and Applications被引用 6

一句话总结

Kernel Neural Operators (KNOs) 使用对角、紧致支撑的核，通过求积离散以学习参数显著更少的算子，在包括不规则区域的 PDE 基准测试上达到最先进的精度。

ABSTRACT

This paper introduces the Kernel Neural Operator (KNO), a provably convergent operator-learning architecture that utilizes compositions of deep kernel-based integral operators for function-space approximation of operators (maps from functions to functions). The KNO decouples the choice of kernel from the numerical integration scheme (quadrature), thereby naturally allowing for operator learning with explicitly-chosen trainable kernels on irregular geometries. On irregular domains, this allows the KNO to utilize domain-specific quadrature rules. To help ameliorate the curse of dimensionality, we also leverage an efficient dimension-wise factorization algorithm on regular domains. More importantly, the ability to explicitly specify kernels also allows the use of highly expressive, non-stationary, neural anisotropic kernels whose parameters are computed by training neural networks. Numerical results demonstrate that on existing benchmarks the training and test accuracy of KNOs is comparable to or higher than popular operator learning techniques while typically using an order of magnitude fewer trainable parameters, with the more expressive kernels proving important to attaining high accuracy. KNOs thus facilitate low-memory, geometrically-flexible, deep operator learning, while retaining the implementation simplicity and transparency of traditional kernel methods from both scientific computing and machine learning.

研究动机与目标

• 使地图在函数空间之间实现可扩展、内存高效的算子学习。
• 开发具有明确、可训练、稀疏核的基于核的算子学习框架。
• 通过基于求积的离散化实现几何灵活性，以处理不规则区域。
• 在显著减少可训练参数的同时展示与现有神经算子相比的最先进精度。

提出的方法

• 将 KNOs 形式化为由提升、堆叠的潜在积分算子、非线性以及对输出的投影组成的深度算子网络。
• 用封闭形式的对角矩阵值核离散化积分算子，以强制稀疏性并降低参数量。
• 在中间层使用带有紧致支撑的径向 Wendland 核，以控制稀疏性和效率。
• 在一般域上对积分进行求积离散化，从而实现对不规则几何的处理。
• 在最后一层使用全局光滑的核（频谱混合）以提高表达能力。
• 用跨通道仿射（逐点）变换来增强潜在算子的准确性。

实验结果

研究问题

• RQ1 KNOs 是否能够在标准 PDE 基准测试上实现比现有神经算子更高的精度，同时使用显著更少的可训练参数？
• RQ2 核设计（对角、紧致支撑 vs 全局）如何影响在不规则域上的性能与内存效率？
• RQ3 基于求积的离散化在多大程度上能够在不降低性能的情况下实现对不规则几何的算子学习？
• RQ4 在隐藏层使用 Wendland 紧致核与最终层使用频谱混合核之间存在何种权衡？
• RQ5 KNOs 的离散化与几何对输入网格与采样是否具有不变性？

主要发现

偏微分方程	核方法(KM)	DeepONet	POD-DeepONet	FNO	KNO
伯格斯方程	2.15	2.15±0.09	1.94±0.07	1.93±0.04	0.52±0.08
对流（I）	2.15e-13	0.22±0.03	0.04±0.00	0.66±0.10	0.015±0.01
纳维-斯托克斯	–	1.78±0.02	1.71±0.03	1.81±0.02	1.02±0.15
Darcy (连续)	–	1.36±0.12	1.26±0.07	1.19±0.05	0.91±0.05
Darcy (PWC)	2.75	2.91±0.04	2.32±0.03	2.41±0.03	1.57±0.06
Darcy (三角形)	–	0.43±0.02	0.18±0.02	1.00±0.03	0.12±0.01
Darcy (三角缺口)	–	2.64±0.02	1.00±0.00	7.82±0.03	0.55±0.04

• KNOs 在多个基准测试上相对于 DeepONet、POD-DeepONet、FNO 以及核/GP 基线，展现出更优的平均相对 L2 误差，覆盖 Burgers’、Advection、Navier–Stokes 与 Darcy 流等。
• KNOs 的可训练参数量比竞争性神经算子低 1–2 个数量级（例如，在 Darcy PWC 的参数量：6,723 对比 FNO 的 1,188,353）。
• 在不规则域（如三角形和带缺口的三角形 Darcy 问题）上，KNOs 通过基于求积的离散化保持了最先进的精度。
• 最终层使用全局频谱混合核以获得强表达能力，而隐藏层使用稀疏 Wendland 核以提升效率。
• 在各基准测试中，KNOs 在内存效率、训练简单性和几何灵活性方面具有优势，并具备零样本超分辨率和离散化不变性特性。