[论文解读] A Priori Analysis of Stable Neural Network Solutions to Numerical PDEs

Qingguo Hong, Jonathan W. Siegel+1 more|arXiv (Cornell University)|Apr 7, 2021

Model Reduction and Neural Networks参考文献 48被引用 11

一句话总结

本文针对使用 $χ_1(\mathbb{D})$-范数求解偏微分方程（PDE）的神经网络方法，提出了先验误差分析，使得可通过贪心算法而非随机梯度下降实现高效求解。该研究基于Rademacher复杂度，为确定性求积和随机采样建立了有界误差，统一分析了神经网络求解PDE过程中的优化、逼近与泛化问题。

ABSTRACT

Methods for solving PDEs using neural networks have recently become a very important topic. We provide an a priori error analysis for such methods which is based on the $\mathcal{K}_1(\mathbb{D})$-norm of the solution. We show that the resulting constrained optimization problem can be efficiently solved using a greedy algorithm, which replaces stochastic gradient descent. Following this, we show that the error arising from discretizing the energy integrals is bounded both in the deterministic case, i.e. when using numerical quadrature, and also in the stochastic case, i.e. when sampling points to approximate the integrals. In the later case, we use a Rademacher complexity analysis, and in the former we use standard numerical quadrature bounds. This extends existing results to methods which use a general dictionary of functions to learn solutions to PDEs and importantly gives a consistent analysis which incorporates the optimization, approximation, and generalization aspects of the problem. In addition, the Rademacher complexity analysis is simplified and generalized, which enables application to a wide range of problems.

研究动机与目标

• 为基于神经网络的偏微分方程数值解法提供严格的先验误差分析。
• 统一分析神经PDE求解器中优化、逼近与泛化的理论框架。
• 以更高效的贪心算法替代随机梯度下降，用于约束优化问题的求解。
• 在确定性与随机设置下，对能量积分的离散化误差建立误差界。
• 对Rademacher复杂度分析进行推广与简化，以增强其在更广泛PDE问题中的适用性。

提出的方法

• 以 $\mathcal{K}_1(\mathbb{D})$-范数为基础，对神经网络求解PDE的误差进行分析。
• 用贪心算法替代随机梯度下降，以高效求解约束优化问题。
• 应用标准数值求积误差界，控制能量积分在确定性离散化中的误差。
• 采用Rademacher复杂度分析，对随机情形下通过采样近似积分所引入的误差进行界控。
• 对Rademacher复杂度框架进行推广与简化，使其适用于一大类PDE问题。
• 将逼近误差、优化误差与泛化误差统一整合进一个一致的理论框架中。

实验结果

研究问题

• RQ1 如何基于 $\mathcal{K}_1(\mathbb{D})$-范数为神经网络求解PDE的方法建立先验误差界？
• RQ2 贪心算法能否在保持收敛性的前提下，有效替代训练神经PDE求解器时的随机梯度下降？
• RQ3 在确定性情形下使用数值求积时，能量积分离散化误差的界是什么？
• RQ4 Rademacher复杂度分析如何控制随机采样能量积分时的泛化误差？
• RQ5 Rademacher复杂度框架在多大程度上可被推广与简化，以适用于神经PDE求解器？

主要发现

• 使用 $\mathcal{K}_1(\mathbb{D})$-范数可为神经PDE求解器提供一致的理论分析框架。
• 贪心算法为求解约束优化问题提供了比随机梯度下降更高效的替代方案。
• 通过标准数值求积误差界，确定性能量积分近似中的离散化误差被有效控制。
• 在随机情形下，通过采样点近似积分所引入的误差，可通过Rademacher复杂度分析得到界控。
• Rademacher复杂度分析被推广并简化，显著增强了其在各类PDE问题中的适用性。
• 统一的分析框架成功地将优化、逼近与泛化误差成分整合进一个连贯一致的理论体系中。