[論文レビュー] Deep Ritz revisited

Johannes Müller, Marius Zeinhofer|arXiv (Cornell University)|Dec 9, 2019

Model Reduction and Neural Networks被引用数 3

ひとこと要約

この論文は、ReLUニューラルネットワークを用いたDeep Ritz法の理論的収束保証を初めて確立し、正則化されたDirichletエネルギーがポアソン問題の真の解にΓ収束することを証明している。この結果を一般の変分問題、特に非線形p-Laplace方程式へと拡張し、普遍近似性および関数解析的仮定の下で、ネットワーク幅が増加するにつれてネットワーク解がH¹(Ω)の弱位相で真のPDE解に収束することを保証している。

ABSTRACT

Recently, progress has been made in the application of neural networks to the numerical analysis of partial differential equations (PDEs). In the latter the variational formulation of the Poisson problem is used in order to obtain an objective function - a regularised Dirichlet energy - that was used for the optimisation of some neural networks. In this notes we use the notion of $\Gamma$-convergence to show that ReLU networks of growing architecture that are trained with respect to suitably regularised Dirichlet energies converge to the true solution of the Poisson problem. We discuss how this approach generalises to arbitrary variational problems under certain universality assumptions of neural networks and see that this covers some nonlinear stationary PDEs like the $p$-Laplace.

研究の動機と目的

• PDE解のニューラルネットワーク近似における収束保証を確立することで、Deep Ritz法に理論的基盤を提供すること。
• ポアソン方程式にとどまらず、非線形PDE（例：p-Laplace方程式）を含む一般の変分問題へ収束解析を拡張すること。
• ネットワーク幅を増加させた際、正則化されたDirichletエネルギー上での学習がH¹(Ω)の弱位相で真の解に収束する条件を形式化すること。
• 変分設定における収束に必要な最小限の仮定（例：普遍近似性、関数解析的性質）を同定すること。
• Γ収束に基づくフレームワークを導入することで、深層学習に基づくPDEソルバーの厳密な解析の基盤を築くこと。

提案手法

• Γ収束理論を用いて、ニューラルネットワーク解が変分エネルギーの最小化子に収束する過程を分析する。
• 成長するReLUネットワークアーキテクチャ上に正則化されたDirichletエネルギー汎関数の列を定義し、境界ペナルティを組み込む。
• ネットワークサイズの増加に伴い、ネットワークパラメータが最適エネルギー配置に近づくことを保証するため、準最小化子の概念を適用する。
• H¹–H⁵という抽象的仮定の下で、汎関数の列がH¹(Ω)の弱位相で真のエネルギー汎関数にΓ収束することを確立する。
• ReLUネットワークのH¹₀(Ω)における普遍近似性を活用し、Poincaré型不等式を用いて等コercivityを保証する。
• p-Laplace方程式への拡張においては、適切な関数空間X = W¹,p(Ω)、Y = Lp(Ω)dを選択し、p ∈ (1, ∞)に対して抽象的仮定を検証する。

実験結果

リサーチクエスチョン

• RQ1 正則化されたDirichletエネルギー上での学習が行われるReLUニューラルネットワークが、どのような条件下でポアソン問題の真の解に収束するか？
• RQ2 Deep Ritz法は、p-Laplace方程式のような非線形PDEに対しても理論的に正当化可能か？
• RQ3 深層学習に基づくPDEソルバーの文脈において、変分エネルギーのΓ収束を保証する抽象的関数解析的条件は何か？
• RQ4 普遍近似性とコーシー性の仮定が、どのようにしてネットワーク解の収束を保証するか？
• RQ5 収束結果は、エネルギー汎関数の数値近似を含める形に拡張可能か？

主な発見

• 正則化されたDirichletエネルギー上での学習が行われる、幅が増加するReLUネットワークは、f ∈ L²(Ω)を右辺とするポアソン問題の真の解にH¹(Ω)で弱収束する。
• 収束は抽象的仮定(H1)–(H5)のもとで保証され、これらには普遍近似性、弱完備性、およびコーシー性の条件が含まれる。
• 解列(uθₙ)はL²(Ω)で強い収束を示し、L²ノルムにおける近似精度の良さが保証される。
• 関数空間をX = W¹,p(Ω)、Y = Lp(Ω)dと選択することで、p-Laplace方程式へも一般化可能であり、p ∈ (1, ∞)に対してすべての仮定を満たすことが確認された。
• 抽象的Poincaré不等式（補題20）により、弱収束下での等コーシー性が保証され、これはΓ収束にとって不可欠である。
• 本結果により、Γ収束を用いた変分設定における収束を確立することで、Deep Ritz法に対する理論的正当化が初めて得られた。