[論文レビュー] Exponential ReLU Neural Network Approximation Rates for Point and Edge Singularities

Carlo Marcati, Joost A. A. Opschoor+2 more|arXiv (Cornell University)|Oct 23, 2020

Machine Learning in Materials Science被引用数 4

ひとこと要約

本稿は、2次元および3次元の多面体領域における点特異性およびエッジ特異性を有する関数のReLUニューラルネットワーク近似について、指数的収束率を確立する。深層ReLUネットワークが、ネットワークパラメータ数 $ M $ に対して $ H^1 $-ノルムで $ C\exp(-bM^{1/(2d+1)}) $ の誤差減少を達成することを証明し、解析的データおよび特異解を有する楕円型偏微分方程式を解く深層学習の理論的基盤を提供する。

ABSTRACT

We prove exponential expressivity with stable ReLU Neural Networks (ReLU NNs) in $H^1(Ω)$ for weighted analytic function classes in certain polytopal domains $Ω$, in space dimension $d=2,3$. Functions in these classes are locally analytic on open subdomains $D\subset Ω$, but may exhibit isolated point singularities in the interior of $Ω$ or corner and edge singularities at the boundary $\partial Ω$. The exponential expression rate bounds proved here imply uniform exponential expressivity by ReLU NNs of solution families for several elliptic boundary and eigenvalue problems with analytic data. The exponential approximation rates are shown to hold in space dimension $d = 2$ on Lipschitz polygons with straight sides, and in space dimension $d=3$ on Fichera-type polyhedral domains with plane faces. The constructive proofs indicate in particular that NN depth and size increase poly-logarithmically with respect to the target NN approximation accuracy $\varepsilon>0$ in $H^1(Ω)$. The results cover in particular solution sets of linear, second order elliptic PDEs with analytic data and certain nonlinear elliptic eigenvalue problems with analytic nonlinearities and singular, weighted analytic potentials as arise in electron structure models. In the latter case, the functions correspond to electron densities that exhibit isolated point singularities at the positions of the nuclei. Our findings provide in particular mathematical foundation of recently reported, successful uses of deep neural networks in variational electron structure algorithms.

研究の動機と目的

• 点特異性およびエッジ特異性を有する関数に対するSobolev空間内でのReLUニューラルネットワークの、証明可能な指数的近似率を確立すること。
• 解析的データおよび特異性を有する楕円型PDEの解を近似する深層ニューラルネットワークの成功のための数学的基盤を提供すること。
• 特異関数に対する $ H^1(\Omega) $ 内の近似精度がネットワークの深さおよびサイズにどのように依存するかを分析すること。
• 角およびエッジ特異性を有する多角形および多面体領域における重み付き解析関数クラスへの指数的表現力の結果を拡張すること。
• 線形および非線形楕円型PDEの解の族が、解析的データおよび特異性を有する場合に、ReLUネットワークによって一様かつ指数的に近似可能であることを示すこと。

提案手法

• 特異性を有する1変数の区分的多項式関数を、深さおよび幅に優れたアーキテクチャを用いて近似するReLUニューラルネットワークの実装を構築する。
• 幾何的メッシュ上でのテンソル積 $ hp $-有限要素空間を用いて、$ Q = (0,1)^d $（$ d=2,3 $）における重み付き解析関数の高次近似を構築する。
• 局所的近似をグローバルなReLUネットワークに埋め込むために、連結、並列化、恒等写像および乗算演算のエミュレーションを用いる構成的証明戦略を採用する。
• 多面体領域における角およびエッジ特異性を有する解析的正則性をモデル化するために、Kondrat’ev型の重み付きソボレフ空間を用いる。
• ネットワーク近似の $ H^1 $-ノルム誤差をパラメータ数 $ M $ の関数として評価し、$ \mathcal{O}(\exp(-bM^{1/(2d+1)})) $ の減少を示すことで、指数的収束を確立する。
• 一般近似結果を、特異ポテンシャルを有する非線形固有値問題および解析的データを有する2次楕円型問題を含む、具体的なPDEに適用する。

実験結果

リサーチクエスチョン

• RQ1 2次元および3次元領域における孤立点特異性およびエッジ特異性を有する関数に対して、ReLUニューラルネットワークは指数的近似率を達成できるか？
• RQ2 特異関数が $ H^1(\Omega) $ 内にある場合、近似精度 $ \varepsilon $ に対するネットワークの深さおよびサイズの依存関係は何か？
• RQ3 深層ReLUネットワークは、解析的データおよび特異性を有する楕円型PDEの解の族を一様かつ指数的に近似可能か？
• RQ4 特異解に対して、ReLUネットワークの近似率は、古典的有限要素法と比較してどうなるか？
• RQ5 特異電子密度を有するバリエーショナル電子構造計算における深層学習の観察された成功の理論的根拠は何か？

主な発見

• 本稿は、$ d=2,3 $ に対して、$ \|u - u_N\|_{H^1(\Omega)} \leq C\exp(-bM^{1/(2d+1)}) $ の形の指数的近似率を証明する。ここで $ M $ はReLUネットワークのパラメータ数である。
• 近似誤差は、ネットワークパラメータ数に対して指数的に減少し、指数部が $ 1/(2d+1) $ であるため、精度に伴い深さおよびサイズが多項対数的増加となる。
• 結果は、リプシッツ多角形（2次元）およびFichera型多面体領域（3次元）における重み付き解析関数クラスに適用可能であり、これは角およびエッジ特異性を有する楕円型PDEの解を含む。
• 本手法は、テンソル積 $ hp $-有限要素近似と、連結および乗算エミュレーションなどのニューラルネットワーク演算を活用することで、指数的収束を達成するReLUネットワークを構築する。
• フレームワークは、解析的非線形性および特異的で重み付き解析的ポテンシャル（原子核における点特異性を有する電子密度など）を有する非線形固有値問題の解の近似をサポートする。
• 理論的結果は、特異解を有するバリエーショナル電子構造アルゴリズムおよびPDEソルバーにおける深層ニューラルネットワークの経験的成功の数学的裏付けを提供する。