[论文解读] MgNO: Efficient Parameterization of Linear Operators via Multigrid

Juncai He, Xinliang Liu+1 more|arXiv (Cornell University)|Oct 16, 2023

Model Reduction and Neural Networks被引用 5

一句话总结

本文提出MgNO，一种新颖的神经算子架构，利用多重网格结构高效参数化函数空间中神经元之间的有界线性算子，从而无需使用传统的提升和投影层。通过集成基于多重网格的卷积，MgNO在多种PDE（包括Darcy、Helmholtz和Navier-Stokes）上实现了最先进精度与效率，相较于谱方法和基于CNN的基线模型，展现出更快的收敛速度和更低的过拟合风险。

ABSTRACT

In this work, we propose a concise neural operator architecture for operator learning. Drawing an analogy with a conventional fully connected neural network, we define the neural operator as follows: the output of the $i$-th neuron in a nonlinear operator layer is defined by $O_i(u) = σ\left( \sum_j W_{ij} u + B_{ij} ight)$. Here, $ W_{ij}$ denotes the bounded linear operator connecting $j$-th input neuron to $i$-th output neuron, and the bias $ B_{ij}$ takes the form of a function rather than a scalar. Given its new universal approximation property, the efficient parameterization of the bounded linear operators between two neurons (Banach spaces) plays a critical role. As a result, we introduce MgNO, utilizing multigrid structures to parameterize these linear operators between neurons. This approach offers both mathematical rigor and practical expressivity. Additionally, MgNO obviates the need for conventional lifting and projecting operators typically required in previous neural operators. Moreover, it seamlessly accommodates diverse boundary conditions. Our empirical observations reveal that MgNO exhibits superior ease of training compared to other CNN-based models, while also displaying a reduced susceptibility to overfitting when contrasted with spectral-type neural operators. We demonstrate the efficiency and accuracy of our method with consistently state-of-the-art performance on different types of partial differential equations (PDEs).

研究动机与目标

• 开发一种更高效且数学上更严谨的神经算子架构，用于学习无限维函数空间之间的映射。
• 消除先前神经算子模型中对独立提升和投影算子的依赖。
• 通过内在的多重网格结构，自然处理各种边界条件。
• 在一系列PDE（包括具有复杂边界条件的PDE）上实现高精度和高训练效率。
• 提供一种既理论基础坚实又实际表达力强的线性算子参数化方案。

提出的方法

• 该方法将神经算子的结构设计为：神经元之间的连接被定义为巴拿赫空间之间的有界线性算子，非线性激活函数作用于加权输入与偏置函数之和之后。
• 提出MgNO，一种利用基于多重网格的卷积层参数化这些线性算子的神经算子架构，其结构与经典多重网格方法的分层多级结构相一致。
• 多重网格结构实现了高效的计算，并自然适应各种边界条件，包括周期性和非周期性类型。
• 该架构用统一的多重网格框架替代了传统的提升和投影层，简化了整体设计并提升了训练稳定性。
• 通过在多个网格层级上运行多通道卷积，实现线性算子的参数化，支持分层特征学习。
• 该方法支持标准和改进的训练配置，包括针对Navier-Stokes问题的专用技术，增强了泛化能力和收敛性。

Figure 1: Overview of $\mathcal{W}_{Mg}$ using a multi-channel V-cycle multigrid framework. In equation 3 , by substituting $\mathcal{W}^{\ell}\bm{h}^{\ell-1}$ with $\mathcal{W}_{Mg}^{\ell}\bm{h}^{\ell-1}$ , we derive our MgNO as presented in equation 10 . The term $\mathcal{W}_{Mg}^{\ell}\bm{h}^{\e

实验结果

研究问题

• RQ1 能否设计一种神经算子架构，消除对独立提升和投影算子的需求，同时保持通用逼近能力？
• RQ2 在深度学习框架中，如何高效地参数化函数空间之间的有界线性算子？
• RQ3 多重网格结构在多大程度上能提升神经算子在PDE求解中的表达能力、精度和训练效率？
• RQ4 与现有最先进模型相比，该方法在不同类型PDE和边界条件类型下的表现如何？
• RQ5 将多重网格原理整合到神经算子中，是否能带来更快的收敛速度和更低的过拟合风险？

主要发现

• 在ν=1e-5的Navier-Stokes方程（NS2配置）中，MgNO的L²误差为1.63，优于FNO2D（4.57）、U-NO（2.64）和MWT（3.09）。
• 对于Helmholtz方程，MgNO的L²误差为0.80×10⁻²，H¹误差为4.90×10⁻²，显著优于FNO2D（1.69×10⁻²和9.92×10⁻²）和U-NO（1.26×10⁻²和8.03×10⁻²）。
• 在Navier-Stokes问题上，MgNO的参数量最低（2.89M），优于U-NO（30.48M）和LSM（4.81M）。
• 消融实验表明，将多重网格层级数从5减少到3，L²误差从1.63上升至2.44，表明其对深度敏感，且与多重网格理论一致。
• 移除边界条件处理机制后，误差上升至3.18，证实了该方法内在边界条件支持的重要性。
• 将基于多重网格的算子参数化替换为谱卷积（MgNO-fno）后，误差上升至3.91，验证了多重网格方法的优越性。

Figure 2: Qualitative comparisons on Darcy rough benchmark. Top: coefficient $a$ , ground truth $u$ , and predictions; bottom: the corresponding prediction error map for each model in the same color scale.