[论文解读] Galerkin Neural Networks: A Framework for Approximating Variational Equations with Error Control

Mark Ainsworth, Justin Dong|arXiv (Cornell University)|May 28, 2021

Model Reduction and Neural Networks参考文献 23被引用 4

一句话总结

该论文提出了一种名为Galerkin神经网络的新框架，通过使用神经网络实现迭代构建有限维子空间，以Galerkin逼近法求解变分方程。通过自适应训练神经网络来表示误差指标，并将其用作基函数，该方法在多种PDE中（包括奇异和高阶问题）仅需最小修改即可实现误差可控的收敛。

ABSTRACT

We present a new approach to using neural networks to approximate the solutions of variational equations, based on the adaptive construction of a sequence of finite-dimensional subspaces whose basis functions are realizations of a sequence of neural networks. The finite-dimensional subspaces are then used to define a standard Galerkin approximation of the variational equation. This approach enjoys a number of advantages, including: the sequential nature of the algorithm offers a systematic approach to enhancing the accuracy of a given approximation; the sequential enhancements provide a useful indicator for the error that can be used as a criterion for terminating the sequential updates; the basic approach is largely oblivious to the nature of the partial differential equation under consideration; and, some basic theoretical results are presented regarding the convergence (or otherwise) of the method which are used to formulate basic guidelines for applying the method.

研究动机与目标

• 为解决神经网络在PDE近似中相对误差停滞的问题，尽管网络规模增大，误差通常在0.1%–1.0%之间 plateau。
• 开发一种系统化、自适应的框架，以改进神经网络近似，而无需从头开始训练更大的网络。
• 提供一种理论基础坚实、与PDE无关的方法，通过神经网络校正导出的后验估计实现误差控制。
• 实现跨不同类型PDE（包括二阶和四阶方程）的无缝应用，涵盖不同空间维数和奇异数据。

提出的方法

• 该方法通过训练神经网络以近似弱残差的对偶表示，构建一系列有限维子空间，形成Galerkin逼近的基函数。
• 每个新基函数通过求解一个变分问题获得，以在能量范数下最大化残差，确保其捕获主要误差分量。
• 使用后验误差指标 η(u_{i−1}, φ_i^{NN}) 估计误差，证明其与真实能量范数误差 |||u − u_{i−1}||| 等价。
• 神经网络以递减学习率和递增宽度（n_i = 20 × 2^{i−1}）迭代训练，采用盒式初始化和固定的积分规则。
• Galerkin解更新为 u_i = u_{i−1} + α_i φ_i^{NN}，其中 α_i 通过Galerkin投影计算，以最小化当前子空间中的残差。
• 该方法与PDE类型、阶数或空间维数无关，仅依赖于稳定的变分形式和积分的求积规则。

实验结果

研究问题

• RQ1 能否系统性地利用神经网络在Galerkin方法中丰富有限维子空间，以提高近似精度，而无需重新训练大型网络？
• RQ2 如何从神经网络实现中构建后验误差估计，以指导自适应细化和终止？
• RQ3 该框架在不同PDE（包括高阶和奇异问题）中可统一应用的程度如何，而无需改变网络结构或算法？
• RQ4 误差指标 η(u_{i−1}, φ_i^{NN}) 是否能可靠地反映真实能量范数误差 |||u − u_{i−1}|||，从而实现有效的收敛监控？
• RQ5 该方法是否能在具有点载荷的Biharmonic方程等具有挑战性的PDE中实现低于1%的相对误差，而标准方法常出现停滞？

主要发现

• 该方法在二阶和四阶PDE中均表现出稳健收敛，包括具有点载荷的Biharmonic方程，其解表现出对数奇异性。
• 估计的误差 η(u_{i−1}, φ_i^{NN}) 密切跟踪真实能量范数误差 |||u − u_{i−1}|||，验证了其作为可靠后验误差指标的有效性。
• 对于 ε₁ = ε₂ = 10⁻⁵ 的Biharmonic问题，经过5次细化迭代后，L²范数和能量范数的最终容差均达到 tol = 5×10⁻³。
• 该算法在不引起数值不稳定的情况下成功处理了奇异数据和边界条件，如点载荷下的二维圆形板问题。
• 采用递增的网络宽度（n_i = 20×2^{i−1}）和递减的学习率（α_i = 10⁻² / 1.1^{i−1}）实现了各次迭代中的稳定且精确的细化。
• 该框架与PDE无关：在切换不同PDE类型或空间维数时，无需进行结构更改，而有限元方法则通常需要。