[论文解读] Two-Layer Neural Networks for Partial Differential Equations: Optimization and Generalization Theory

Tao Luo, Haizhao Yang|arXiv (Cornell University)|Jun 28, 2020

Model Reduction and Neural Networks参考文献 49被引用 50

一句话总结

该论文证明，对过度参数化的两层神经网络进行梯度下降可以找到全局最小点以通过最小二乘法求解二阶线性偏微分方程，并且它分析了 Barron-type 空间下的泛化。

ABSTRACT

The problem of solving partial differential equations (PDEs) can be formulated into a least-squares minimization problem, where neural networks are used to parametrize PDE solutions. A global minimizer corresponds to a neural network that solves the given PDE. In this paper, we show that the gradient descent method can identify a global minimizer of the least-squares optimization for solving second-order linear PDEs with two-layer neural networks under the assumption of over-parametrization. We also analyze the generalization error of the least-squares optimization for second-order linear PDEs and two-layer neural networks, when the right-hand-side function of the PDE is in a Barron-type space and the least-squares optimization is regularized with a Barron-type norm, without the over-parametrization assumption.

研究动机与目标

• 将求解偏微分方程表述为使用神经网络对 PDE 解进行参数化的最小二乘问题。
• 证明在过度参数化的情况下，梯度下降收敛到全局最小点，用于二阶线性 PDE。
• 发展使用 Barron-type 空间和路径范数正则化的偏微分方程求解器的泛化界限。
• 将神经切线核（NTK）启发的分析扩展到具有边界条件的 PDE 求解器设置。
• 提供一个在 PDE 场景中比较经验损失与总体损失的框架。

提出的方法

• 使用两层神经网络对 PDE 解进行参数化，并将内部算子与边界算子结合起来形成一个总体损失。
• 将高边界条件问题转换为一种形式，通过特别设计的辅助函数使网络本身具备某些边界条件。
• 在过度参数化和有界算子假设下，证明梯度下降对经验损失的全局最小值具备线性收敛性。
• 引入 Barron-type 函数空间和路径范数以量化复杂性并在不使用截断技巧的情况下实现泛化界限。
• 在 PDE 求解器情境下，使用 Rademacher 范数导出事后和事前泛化界限。
• 通过 Barron-type 范数与正则化将经验最小值与总体最小值联系起来。

实验结果

研究问题

• RQ1 在两层网络过度参数化的情况下，梯度下降是否能够为最小二乘 PDE 求解器找出全局最小值？
• RQ2 当 PDE 的右端项位于 Barron-type 空间时，经验最小值与总体最小值之间的关系如何？
• RQ3 在设计能够自动满足边界条件的 PDE 求解器网络时，边界条件起到怎样的作用？
• RQ4 使用 Barron-type 范数和路径范数正则化的 PDE 求解器的泛化保证是什么？
• RQ5 如何利用 Rademacher 复杂度来界定 PDE 神经求解器的泛化误差？

主要发现

• 在过度参数化下，梯度下降实现对二阶线性 PDE 的经验 PDE 损失的全局最小值的线性收敛。
• 事后泛化差距被一个与路径范数成正比、与样本量平方根成反比的项所界定。
• 如果右端项位于 Barron-type 空间并使用 Barron-type 正则化，事前泛化界限随目标函数的 Barron 范数进行缩放。
• 特殊边界条件设计的网络消除了在损失中通过超参数平衡 PDE 项和边界项的需求。
• 该分析将神经切线核思路和 Barron 空间泛化理论扩展到具有变系数和二阶算子的 PDE 求解器。