[論文レビュー] Parametric Complexity Bounds for Approximating PDEs with Neural Networks

Tanya Marwah, Zachary C. Lipton+1 more|arXiv (Cornell University)|Mar 3, 2021

Model Reduction and Neural Networks参考文献 35被引用数 5

ひとこと要約

この論文は、入力次元 $d$ と PDE の係数のパラメータ数に関して多項式的にスケーリングするパラメータ数を用いて、ディリクレ境界条件を伴う高次元線形楕円型PDEの解を深層ニューラルネットワークが近似できることを確立している。著者らは、ヒルバート空間における勾配降下のシミュレーションを段階的なネットワーク拡大によって行う構成的証明手法を導入し、解の複雑さがドメイン体積に依存せず、係数の複雑さにのみ依存することを示している。

ABSTRACT

Recent experiments have shown that deep networks can approximate solutions to high-dimensional PDEs, seemingly escaping the curse of dimensionality. However, questions regarding the theoretical basis for such approximations, including the required network size, remain open. In this paper, we investigate the representational power of neural networks for approximating solutions to linear elliptic PDEs with Dirichlet boundary conditions. We prove that when a PDE's coefficients are representable by small neural networks, the parameters required to approximate its solution scale polynomially with the input dimension $d$ and proportionally to the parameter counts of the coefficient networks. To this we end, we develop a proof technique that simulates gradient descent (in an appropriate Hilbert space) by growing a neural network architecture whose iterates each participate as sub-networks in their (slightly larger) successors, and converge to the solution of the PDE. We bound the size of the solution, showing a polynomial dependence on $d$ and no dependence on the volume of the domain.

研究の動機と目的

• 深層ニューラルネットワークが次元の呪いに苦しまずに高次元PDEの解を近似できる理由を理論的に説明すること。
• ディリクレ境界条件を伴う線形楕円型PDEの解を近似するために必要な最小パラメータ数を特定すること。
• 解のパラメータ複雑さが入力次元 $d$ に対して多項式的かつPDE係数のパラメータ数に対して線形的であることを確立すること。
• ヒルバート空間における勾配降下を段階的なニューラルネットワーク拡大によってシミュレートする構成的証明手法を開発すること。
• 解のパラメータ複雑さがドメイン体積に依存しないことを示すことにより、高次元における指数的依存を回避すること。

提案手法

• 各反復がより大きな後続ネットワーク内のサブネットワークとして埋め込まれるよう、ヒルバート空間における勾配降下の反復をシミュレートするニューラルネットワークアーキテクチャを構築する。
• 各ネットワーク層が直前の反復に微分作用素 $L$ を作用させるのを近似する再帰的構成を用いる。
• PDE係数の滑らかさと楕円性を活用して、帰納法を用いて解の高階微分の $L^2$ ノルムを評価する。
• スペクトル同等性と乗法性を用いて、微分作用素 $L$ とノルムが小さい $\delta$ の摂動 $\Sigma$ の合成の作用素ノルムを評価する。
• 解が、$d$ に対して多項式的かつ係数ネットワークのパラメータ数に対して線形的になるようなサイズのニューラルネットワークで近似可能であることを証明する。
• 解の高階微分の成長を制御できるように、$\|L^n u\|_{L^2}$ が $(n!)^2 C^n \max_{|\alpha| \leq n+2} \|\partial^\alpha u\|_{L^2}$ のように成長することを利用する。

実験結果

リサーチクエスチョン

• RQ1 ディリクレ境界条件を伴う線形楕円型PDEの解をニューラルネットワークで近似するために必要な最小パラメータ数は何か？
• RQ2 解のパラメータ複雑さはPDE係数 $A$ と $c$ の複雑さとどのように関係するか？
• RQ3 ニューラルネットワークは高次元PDEの解を近似する際に次元の呪いを回避できるか？
• RQ4 ドメイン体積は、正確なPDE解近似に必要なネットワークサイズに影響を与えるか？
• RQ5 構成的証明手法を用いて、階層的なニューラルネットワーク拡大によってヒルバート空間における勾配降下をシミュレートできるか？

主な発見

• 線形楕円型PDEの解を近似するために必要なパラメータ数は、$O(\text{poly}(d)N)$ にスケーリングする。ここで $N$ は係数 $A$ と $c$ を表現するために必要なパラメータ数である。
• 解のパラメータ複雑さは入力次元 $d$ に対して多項式的であり、ドメイン $\Omega$ の体積に依存しない。
• 証明により、$\|L^n u\|_{L^2} \leq (n!)^2 C^n \max_{|\alpha| \leq n+2} \|\partial^\alpha u\|_{L^2}$ が成立し、高階微分の成長が制御されることを示している。
• $L$ と小さな摂動 $\Sigma$ の合成の作用素ノルムは $\delta^i$ で有界であるため、反復更新の安定な近似が可能になる。
• 階層的ネットワーク構築により、勾配降下の各反復がより大きなアーキテクチャ内のサブネットワークとして埋め込まれ、真の解への収束が保証される。
• この結果により、特に係数が単純な場合に深層学習が高次元PDEを解くことに成功するという経験的事実に対する理論的裏付けが得られる。