[論文レビュー] On the Representation of Solutions to Elliptic PDEs in Barron Spaces

Ziang Chen, Jianfeng Lu+1 more|arXiv (Cornell University)|Jun 14, 2021

Model Reduction and Neural Networks参考文献 41被引用数 7

ひとこと要約

この論文は、係数およびソース項がBarron空間に属する場合、高次元の2階楕円型偏微分方程式（PDE）の解がBarron関数によって効率的に近似可能であることを確立している。次元 $ d $ に対して多項式的に増加する次元明示的 $ H^1 $-ノルム誤差評価を証明し、2層のニューラルネットワークによる近似が可能であり、明示的な収束率が得られる。

ABSTRACT

Numerical solutions to high-dimensional partial differential equations (PDEs) based on neural networks have seen exciting developments. This paper derives complexity estimates of the solutions of $d$-dimensional second-order elliptic PDEs in the Barron space, that is a set of functions admitting the integral of certain parametric ridge function against a probability measure on the parameters. We prove under some appropriate assumptions that if the coefficients and the source term of the elliptic PDE lie in Barron spaces, then the solution of the PDE is $ε$-close with respect to the $H^1$ norm to a Barron function. Moreover, we prove dimension-explicit bounds for the Barron norm of this approximate solution, depending at most polynomially on the dimension $d$ of the PDE. As a direct consequence of the complexity estimates, the solution of the PDE can be approximated on any bounded domain by a two-layer neural network with respect to the $H^1$ norm with a dimension-explicit convergence rate.

研究の動機と目的

• 高次元楕円型PDEの解がニューラルネットワークによって効率的に表現可能かどうかを特定すること。
• このような表現の複雑さをBarron空間ノルムの観点から定量化すること。
• Barron関数によるPDE解の $ H^1 $-近似に対する次元明示的誤差評価を確立すること。
• 2層のニューラルネットワークが次元の呪いに依存しない収束率を伴って解を近似可能かどうかを示すこと。

提案手法

• 著者たちは、リidge関数の確率測度による重み付き積分として表現可能な関数からなるBarron空間を用いた関数解析的枠組みを定義する。
• PDE作用素とBarron空間内の関数へのその作用の分析を通じて、解のBarronノルムに関する評価を導出する。
• この手法では、係数行列 $ A $、ポテンシャル $ c $、およびソース項 $ f $ を含むPDEの成分に分解し、これらがすべてBarron空間に属すると仮定する。
• 逆ラプラシアンおよびフーリエ解析の性質を用いて、適切な仮定の下で解作用素がBarron正則性を保存することを示す。
• コサイン活性化関数を有するニューラルネットワークの構造を活用し、反復的近似を用いて解のBarronノルムに関する再帰的推定を確立する。
• 近似解のBarronノルムに対する明示的評価を含み、次元 $ d $ に対して多項式的依存性を示す。

実験結果

リサーチクエスチョン

• RQ1 高次元2階楕円型PDEの解は、Barron空間に属する関数によって近似可能か？
• RQ2 解のBarronノルムは次元 $ d $ および所望の精度 $ \epsilon $ にどのように依存するか？
• RQ3 活性化関数の選択（例：コサイン）がBarronノルム評価に与える影響は何か？
• RQ4 2層のニューラルネットワークは、次元明示的収束率を伴って解を近似可能か？

主な発見

• PDEの係数 $ A $、$ c $、およびソース項 $ f $ がBarron空間に属する場合、解 $ u^* $ はBarron関数により $ H^1 $-ノルムで $ \epsilon $-近似可能である。
• 近似関数のBarronノルムは $ \mathcal{O}((d/\epsilon)^{C\log(1/\epsilon)}) $ で有界であり、$ d $ および $ \epsilon^{-1} $ に対して多項式的依存性を示す。
• コサイン活性化関数を用いる場合、Barronノルム評価は $ \mathcal{O}(d^{C\log 1/\epsilon}) $ に改善され、高次元におけるスケーラビリティが向上することが示唆される。
• 解は、$ H^1 $-ノルムにおいて次元明示的収束率を伴う2層のニューラルネットワークによって近似可能である。
• 解析により、PDE係数にやや弱い仮定を課せば、解作用素がBarron正則性を保存することが示された。