[论文解读] Deep Ritz revisited

Johannes Müller, Marius Zeinhofer|arXiv (Cornell University)|Dec 9, 2019

Model Reduction and Neural Networks被引用 3

一句话总结

该论文通过证明带正则化的Dirichlet能量到Poisson问题真实解的Γ-收敛性，首次为使用ReLU神经网络的Deep Ritz方法建立了理论收敛保证。该结果被扩展至一般变分问题，包括非线性p-Laplace方程，在通用逼近和泛函分析假设下，确保随着网络宽度增加，网络解在H¹弱拓扑下收敛到真实PDE解。

ABSTRACT

Recently, progress has been made in the application of neural networks to the numerical analysis of partial differential equations (PDEs). In the latter the variational formulation of the Poisson problem is used in order to obtain an objective function - a regularised Dirichlet energy - that was used for the optimisation of some neural networks. In this notes we use the notion of $\Gamma$-convergence to show that ReLU networks of growing architecture that are trained with respect to suitably regularised Dirichlet energies converge to the true solution of the Poisson problem. We discuss how this approach generalises to arbitrary variational problems under certain universality assumptions of neural networks and see that this covers some nonlinear stationary PDEs like the $p$-Laplace.

研究动机与目标

• 为Deep Ritz方法提供理论基础，通过建立神经网络对PDE解逼近的收敛保证。
• 将收敛分析从Poisson方程扩展到一般变分问题，包括非线性PDE如p-Laplace方程。
• 形式化在H¹(Ω)弱拓扑下，随着宽度增加的ReLU网络在正则化Dirichlet能量上训练时收敛到真实解的条件。
• 识别在变分设置下实现收敛所需的最小假设，如通用逼近性和泛函分析性质。
• 通过基于Γ-收敛性的框架，为基于深度学习的PDE求解器的严格分析奠定基础。

提出的方法

• 使用Γ-收敛性理论分析神经网络解对变分能量极小化器的收敛性。
• 在不断增长的ReLU网络架构上定义一系列正则化Dirichlet能量泛函，包含边界惩罚项。
• 应用准极小化子的概念，确保随着网络规模增大，网络参数保持在最优能量配置附近。
• 建立抽象条件（H1–H5），在H¹(Ω)的弱拓扑下，序列泛函Γ-收敛到真实能量泛函。
• 利用ReLU网络在H¹₀(Ω)中的通用逼近性质，并应用Poincaré型不等式以确保等 coercivity。
• 通过选择适当的函数空间W¹,p(Ω)和Lp(Ω)d，将框架扩展至p-Laplace方程，并验证p ∈ (1, ∞)时的抽象假设。

实验结果

研究问题

• RQ1 在何种条件下，基于正则化Dirichlet能量训练的ReLU神经网络会收敛到Poisson问题的真实解？
• RQ2 Deep Ritz方法能否在理论层面被证明适用于非线性PDE如p-Laplace方程？
• RQ3 在基于深度学习的PDE求解器背景下，哪些抽象泛函分析条件能确保变分能量的Γ-收敛性？
• RQ4 通用逼近性和强制性假设如何相互作用以保证网络解的收敛性？
• RQ5 该收敛结果能否扩展至包含能量泛函的数值近似？

主要发现

• 在正则化Dirichlet能量上训练的、宽度不断增加的ReLU网络，在H¹(Ω)中弱收敛到右端项f ∈ L²(Ω)的Poisson问题的真实解。
• 该收敛性在抽象假设（H1）–（H5）下得到保证，这些假设包括通用逼近性、自反性及强制性条件。
• 解序列（uθₙ）在L²(Ω)中强收敛，确保了在L²范数下良好的逼近质量。
• 通过选择X = W¹,p(Ω)，Y = Lp(Ω)d，并验证p ∈ (1, ∞)时的所有必要假设，该框架可推广至p-Laplace方程。
• 抽象Poincaré不等式（引理20）在弱收敛下确保了等 coercivity，这对Γ-收敛性至关重要。
• 该结果首次通过在变分设置下利用Γ-收敛性，为Deep Ritz方法提供了理论依据。