[论文解读] A Priori Generalization Analysis of the Deep Ritz Method for Solving High Dimensional Elliptic Equations

Jianfeng Lu, Yulong Lu+1 more|arXiv (Cornell University)|Jan 5, 2021

Model Reduction and Neural Networks参考文献 38被引用 21

一句话总结

本文针对求解高维椭圆型偏微分方程（如泊松方程和薛定谔方程）的深度Ritz方法（DRM），提供了先验泛化误差分析。通过假设精确解属于谱Barron空间，建立了与维度无关的收敛速率，提出了一套针对低复杂度函数空间中PDE的新解理论，并证明了神经网络逼近误差与泛化误差随维度的有利增长特性。

ABSTRACT

This paper concerns the a priori generalization analysis of the Deep Ritz Method (DRM) [W. E and B. Yu, 2017], a popular neural-network-based method for solving high dimensional partial differential equations. We derive the generalization error bounds of two-layer neural networks in the framework of the DRM for solving two prototype elliptic PDEs: Poisson equation and static Schrödinger equation on the $d$-dimensional unit hypercube. Specifically, we prove that the convergence rates of generalization errors are independent of the dimension $d$, under the a priori assumption that the exact solutions of the PDEs lie in a suitable low-complexity space called spectral Barron space. Moreover, we give sufficient conditions on the forcing term and the potential function which guarantee that the solutions are spectral Barron functions. We achieve this by developing a new solution theory for the PDEs on the spectral Barron space, which can be viewed as an analog of the classical Sobolev regularity theory for PDEs.

研究动机与目标

• 为高维中基于神经网络的PDE求解器缺乏严格的误差分析提供解决方案。
• 在低复杂度函数空间（特别是谱Barron空间）中为椭圆型PDE建立解理论，作为经典Sobolev空间的替代方案。
• 在DRM框架下，推导两层神经网络的先验泛化误差界。
• 建立强制项和势函数的充分条件，以确保解属于谱Barron空间。
• 为深度Ritz方法提供显式依赖于空间维度d的收敛速率，且该速率与d无关。

提出的方法

• 作者通过余弦级数展开和谱分解引入谱Barron空间，定义了傅里叶系数绝对可 summable 且按频率大小加权的函数。
• 在谱Barron空间中推导PDE（泊松方程和薛定谔方程）的变分形式，从而建立一种类似于Sobolev理论的新先验解理论。
• 通过真实变分极小化子与经验极小化子之间的差异分析泛化误差，利用谱Barron范数的性质推导出误差界。
• 该方法采用余弦级数展开和卷积恒等式，用于分析谱Barron空间中函数乘积的非线性项。
• 关键估计基于恒等式 $ \|u - u^*_S\|_{H^1}^2 = \frac{1}{2}\|\nabla u - \nabla u^*_S\|_{L^2}^2 + \frac{1}{2}\|V^{1/2}(u - u^*_S)\|_{L^2}^2 $，将能量误差与 $ L^2 $-范数联系起来。
• 分析依赖于离散傅里叶系数和卷积恒等式，以控制解及其由两层ReLU网络逼近的复杂度。

实验结果

研究问题

• RQ1 能否在显式依赖于维度d的前提下，为深度Ritz方法推导出具有先验形式的泛化误差界？
• RQ2 何种函数空间假设可确保高维椭圆型PDE的解能被两层ReLU网络高效逼近？
• RQ3 在强制项和势函数满足何种条件下，泊松方程和薛定谔方程的解属于谱Barron空间？
• RQ4 能否在谱Barron空间中为椭圆型PDE建立类似于经典Sobolev理论的解理论？
• RQ5 在谱Barron空间假设下，深度Ritz方法的泛化误差收敛速率是否仍与空间维度d无关？

主要发现

• 在精确解属于谱Barron空间的假设下，求解高维椭圆型PDE的深度Ritz方法的泛化误差衰减速率与维度d无关。
• 本文证明，若强制项和势函数在其傅里叶系数上满足特定的可积性和衰减条件，则在d维单位超立方体上定义的泊松方程和薛定谔方程的解属于谱Barron空间。
• 作者建立了一套针对谱Barron空间中椭圆型PDE的新解理论，提供了类似于经典Sobolev型估计的先验估计，但适配于低复杂度函数类。
• 在谱Barron空间假设下，泛化误差的收敛速率被证明为 $ O(N^{-1/2}) $，其中N为训练样本数，且常数与d无关。
• 分析表明，DRM中的逼近误差与泛化误差由解的谱Barron范数控制，该范数量化了其低频成分与复杂度。
• 本文通过识别谱Barron正则性为实现与维度无关收敛的关键条件，为深度Ritz方法在高维中的成功提供了严格的理论基础。