[論文レビュー] Exponential Convergence of Deep Operator Networks for Elliptic Partial Differential Equations

Carlo Marcati, Christoph Schwab|arXiv (Cornell University)|Dec 15, 2021

Advanced Mathematical Modeling in Engineering参考文献 27被引用数 7

ひとこと要約

この論文は、周期的で解析的である設定下での2階楕円型PDEの係数から解への写像を近似する際、指数的収束率を達成する深層作用素ネットワーク（ONets）を構築する。スペクトルコロケーション法とブランチ・トランク構造を有するニューラルネットワークアーキテクチャを活用することで、著者らはONetsが精度εを達成するためのネットワークサイズがO(|log(ε)|^κ)であることを証明した。ここでκは空間次元dに依存し、H¹ノルムにおいて指数的収束を示している。

ABSTRACT

We construct and analyze approximation rates of deep operator networks (ONets) between infinite-dimensional spaces that emulate with an exponential rate of convergence the coefficient-to-solution map of elliptic second-order partial differential equations. In particular, we consider problems set in $d$-dimensional periodic domains, $d=1, 2, \dots$, and with analytic right-hand sides and coefficients. Our analysis covers linear, elliptic second order divergence-form PDEs as, e.g., diffusion-reaction problems, parametric diffusion equations, and elliptic systems such as linear isotropic elastostatics in heterogeneous materials. We leverage the exponential convergence of spectral collocation methods for boundary value problems whose solutions are analytic. In the present periodic and analytic setting, this follows from classical elliptic regularity. Within the ONet branch and trunk construction of [Chen and Chen, 1993] and of [Lu et al., 2021], we show the existence of deep ONets which emulate the coefficient-to-solution map to a desired accuracy in the $H^1$ norm, uniformly over the coefficient set. We prove that the neural networks in the ONet have size $\mathcal{O}(\left|\log(\varepsilon) ight|^κ)$, where $\varepsilon>0$ is the approximation accuracy, for some $κ>0$ depending on the physical space dimension.

研究の動機と目的

• 線形で2階の楕円型PDEの係数から解への写像を、指数的収束率で近似する深層作用素ネットワーク（ONets）を開発すること。
• 解析的係数および右辺を有する問題において、無限次元関数空間、特にH¹ノルムにおけるONetsの近似能力を分析すること。
• 所望の精度εを達成するためのネットワークサイズおよびサンプリング点数の上限を確立し、εに対して多対数的依存性を示すこと。
• 無限次元係数空間と解析的正則性を考慮することで、既存のDNNによるパrametric PDE近似結果を拡張すること。
• 提示されたONetアーキテクチャが、スペクトル法と周期的領域における解析性を活用することで、指数的収束を達成することを示すこと。

提案手法

• 係数から解への写像を表現するため、ChenとChen [4]およびLuら[18]に従い、ブランチ・トランク構造を有するONetsを採用する。
• 周期的で解析的な楕円型PDEに対して、古典的楕円型正則性に依拠して、スペクトル近似の指数的収束を保証するスペクトルコロケーション法を用いる。
• 単位立方体Q = (0,1)^d上でのテンソル積ルジャンドル多項式(L_i)の基底を構築し、解空間およびその部分空間を表現する。
• 周期的境界条件および平均値ゼロを課して解空間X_{n_b}を定義し、H¹適合性を確保するとともに自由度を削減する。
• ℓ²ノルムの係数を関数のL²ノルムに基づいてバインドするため、L²正規直交基底関数χ_{i_1,…,i_d}を用いる。これにより誤差制御が可能になる。
• ν^1d_jとL_jの関係を用いて、係数ベクトルのℓ²ノルムの上限を導出する。これにより、関数のL²ノルムが係数の大きさを制御でき、定数がdの指数関数的に依存することが示される。

実験結果

リサーチクエスチョン

• RQ1 深層作用素ネットワークは、解析的係数を有する楕円型PDEの解写像近似において、指数的収束率を達成できるか？
• RQ2 このようなPDEに対して、深層ONetがH¹ノルムにおいてε-精度を達成するために必要な最小ネットワークサイズは何か？
• RQ3 ネットワークサイズが所望の精度εに依存するスケーリングはどのように変化するか？また、次元の呪いを回避できるか？
• RQ4 提示されたONetアーキテクチャは、無限次元係数空間を扱えるが、依然として指数的収束を維持できるか？
• RQ5 解析性および周期性が、スペクトル収束およびその後続するニューラルネットワーク近似を可能にする役割は何か？

主な発見

• 深層作用素ネットワークは、解析的かつ周期的係数を有する楕円型PDEの係数から解への写像において、H¹ノルムで指数的収束を達成する。
• 精度ε > 0を達成するための必要ネットワークサイズはO(|log(ε)|^κ)とスケーリングされ、κ > 0は空間次元dに依存しており、多対数的増加を示している。
• スペクトル基底における係数ベクトルのℓ²ノルムの上限は、関数のL²ノルムによって制御され、定数C_{L²}がdの指数関数的に依存する。
• 構成により、係数集合全体にわたる一様近似が保証され、解空間X_{n_b}は多項式空間Q_p(Q)における周期的かつ平均値ゼロの関数の部分空間として定義される。
• 解空間X_{n_b}の次元はp^d − 1であり、周期性と平均値ゼロの制約を課した後の自由度n_b = p^d − 1に相当する。
• 解析により、提案されたONetアーキテクチャが、無限次元パrameter空間を有するパrametric PDEに対しても、指数的精度で解作用素を模倣できることを確認した。