[論文レビュー] A Priori Generalization Analysis of the Deep Ritz Method for Solving High Dimensional Elliptic Equations

Jianfeng Lu, Yulong Lu+1 more|arXiv (Cornell University)|Jan 5, 2021

Model Reduction and Neural Networks参考文献 38被引用数 21

ひとこと要約

本稿は、ポアソン方程式やシュレーディンガー方程式を含む高次元楕円型PDEを解くためのDeep Ritz Method (DRM) における事前一般化誤差解析を提供する。正確な解がスペクトルバロン空間に属すると仮定することで、次元に依存しない収束レートを確立し、低複雑性関数空間におけるPDEの新しい解法理論を導入するとともに、ニューラルネットワークの近似誤差および一般化誤差が次元に有利にスケーリングされることを証明する。

ABSTRACT

This paper concerns the a priori generalization analysis of the Deep Ritz Method (DRM) [W. E and B. Yu, 2017], a popular neural-network-based method for solving high dimensional partial differential equations. We derive the generalization error bounds of two-layer neural networks in the framework of the DRM for solving two prototype elliptic PDEs: Poisson equation and static Schrödinger equation on the $d$-dimensional unit hypercube. Specifically, we prove that the convergence rates of generalization errors are independent of the dimension $d$, under the a priori assumption that the exact solutions of the PDEs lie in a suitable low-complexity space called spectral Barron space. Moreover, we give sufficient conditions on the forcing term and the potential function which guarantee that the solutions are spectral Barron functions. We achieve this by developing a new solution theory for the PDEs on the spectral Barron space, which can be viewed as an analog of the classical Sobolev regularity theory for PDEs.

研究の動機と目的

• 高次元におけるニューラルネットワークベースのPDEスカラーの厳密な誤差解析の欠如に対処すること。
• 特にスペクトルバロン空間としての低複雑性関数空間における楕円型PDEの解法理論を構築すること。
• DRMフレームワークにおける2層ニューラルネットワークの事前一般化誤差バウンドを導出すること。
• 解がスペクトルバロン空間に属するように保証するための力項およびポテンシャル関数の十分条件を確立すること。
• Deep Ritz Methodの収束レートが空間次元dに依存しない、次元明示的なレートを提供すること。

提案手法

• 著者らはコサイン級数展開とスペクトル分解を用いてスペクトルバロン空間を導入し、周波数の大きさで重み付けされたフーリエ係数の総和が収束する関数を定義する。
• Poisson方程式およびシュレーディンガー方程式の変分的定式化をスペクトルバロン空間で行い、Sobolev理論に類似した新しい事前解法理論を可能にする。
• 一般化誤差は真の変分最小化子と経験的最小化子の差に着目し、スペクトルバロンノルムの性質を用いてバウンドを導出する。
• 本手法はコサイン級数展開と関数の積に対する畳み込み恒等式を用い、非線形項の解析を可能にする。
• 重要な推定は、$ \|u - u^*_S\|_{H^1}^2 = \frac{1}{2}\|\nabla u - \nabla u^*_S\|_{L^2}^2 + \frac{1}{2}\|V^{1/2}(u - u^*_S)\|_{L^2}^2 $ という恒等式を用い、エネルギー誤差を$L^2$ノルムに結びつける。
• 解析は離散フーリエ係数および畳み込み恒等式に依存し、解の複雑さと2層ReLUネットワークによるその近似の複雑さを制御する。

実験結果

リサーチクエスチョン

• RQ1 DRMにおける一般化誤差バウンドを、次元dに明示的な依存関係を持つ事前形式で導出できるか？
• RQ2 高次元楕円型PDEの解が2層ReLUネットワークによって効率的に近似可能であることを保証する関数空間仮定は何か？
• RQ3 ポアソン方程式およびシュレーディンガー方程式の解がスペクトルバロン空間に属するための力項およびポテンシャル関数の条件は何か？
• RQ4 古典的Sobolev理論に類似した、スペクトルバロン空間における楕円型PDEの解法理論を構築できるか？
• RQ5 スペクトルバロン空間の仮定の下で、DRMにおける一般化誤差の収束レートは空間次元dに依存しないか？

主な発見

• 正確な解がスペクトルバロン空間に属すると仮定すれば、高次元楕円型PDEを解くためのDeep Ritz Methodの一般化誤差は、次元dに依存しないレートで減少することが示された。
• 本稿では、d次元単位超立方体上でのポアソン方程式およびシュレーディンガー方程式の解が、力項およびポテンシャル関数のフーリエ係数に特定の可積分性および減衰条件が満たされれば、スペクトルバロン空間に属することを示した。
• 著者らはスペクトルバロン空間における楕円型PDEの新しい解法理論を確立し、古典的Sobolev型推定に類似した事前推定を提供したが、低複雑性関数クラスに適応したものである。
• スペクトルバロン空間の仮定の下で、一般化誤差の収束レートが$ O(N^{-1/2}) $ であることが示された。ここでNはトレーニングサンプル数であり、定数はdに依存しない。
• 解析により、DRMにおける近似誤差および一般化誤差が、解のスペクトルバロンノルムによって支配されていることが明らかになった。このノルムは、低周波成分の含有量と複雑さを定量化する。
• 本稿は、スペクトルバロン正則性が次元に依存しない収束を実現する鍵となる条件であると特定することで、高次元におけるDeep Ritz Methodの成功に厳密な基礎を提供した。