[論文レビュー] Learning Green's functions associated with time-dependent partial differential equations

Nicolas Boullé, Seick Kim+2 more|arXiv (Cornell University)|Apr 27, 2022

Model Reduction and Neural Networks被引用数 12

ひとこと要約

本稿では、ニューラルオペレータと確率的数値線形代数を用いて、時間に依存する放物型PDEのグリーン関数を学習する、理論的に厳密な最初の手法を提示する。グリーン関数に内蔵された階層的低ランク構造を活用し、$ mathcal{O}( epsilon^{-(n+2)/2} log(1/ epsilon))$ 個のトレーニングペアを用いることで、高い確率で相対$L^1$-誤差$ mathcal{O}( Gamma_ epsilon^{-1/2} epsilon)$ を達成する。これは、時間に依存するPDEの科学的機械学習におけるデータ複雑性の基礎的境界を提供する。

ABSTRACT

Neural operators are a popular technique in scientific machine learning to learn a mathematical model of the behavior of unknown physical systems from data. Neural operators are especially useful to learn solution operators associated with partial differential equations (PDEs) from pairs of forcing functions and solutions when numerical solvers are not available or the underlying physics is poorly understood. In this work, we attempt to provide theoretical foundations to understand the amount of training data needed to learn time-dependent PDEs. Given input-output pairs from a parabolic PDE in any spatial dimension $n\geq 1$, we derive the first theoretically rigorous scheme for learning the associated solution operator, which takes the form of a convolution with a Green's function $G$. Until now, rigorously learning Green's functions associated with time-dependent PDEs has been a major challenge in the field of scientific machine learning because $G$ may not be square-integrable when $n>1$, and time-dependent PDEs have transient dynamics. By combining the hierarchical low-rank structure of $G$ together with randomized numerical linear algebra, we construct an approximant to $G$ that achieves a relative error of $\smash{\mathcal{O}(Γ_ε^{-1/2}ε)}$ in the $L^1$-norm with high probability by using at most $\smash{\mathcal{O}(ε^{-\frac{n+2}{2}}\log(1/ε))}$ input-output training pairs, where $Γ_ε$ is a measure of the quality of the training dataset for learning $G$, and $ε>0$ is sufficiently small.

研究の動機と目的

• 時間に依存するPDEをデータ駆動的手法で学習するためのトレーニングデータ量の理論的基盤を確立すること。
• 平方可積分でない（$n > 1$次元において）放物型PDEに関連するグリーン関数の学習を厳密に分析すること。
• 一時的ダイナミクスと平方可積分でないグリーン関数による科学的機械学習の課題を克服すること。
• 畳み込みを用いて学習されたグリーン関数により、解作用素の確実に正確な近似スキームを導出すること。
• 望ましい相対誤差を$L^1$-ノルムで達成するための入力-出力ペアの数を定量化するデータ複雑性境界を提供すること。

提案手法

• 本手法は、well-separatedな領域におけるグリーン関数の階層的低ランク構造を活用し、BebendorfとHackbusch（2003）の結果を放物型PDEに拡張する。
• 特に確率的SVDを用いた確率的数値線形代数を用い、空間時間領域の部分領域におけるグリーン関数の効率的近似を実現する。
• 領域$ mathcal{U} \times \mathcal{U}$ を、低ランク近似が適用可能な適切な部分領域$Q_X \times Q_Y$ に分割する。
• 確率的誤差解析により、真のグリーン関数$G$と近似関数$\tilde{G}$ 間のグローバル$L^1$-誤差を境界づけ、高い確率で$\|G - \tilde{G}\|_{L^1} = \mathcal{O}(\Gamma_\epsilon^{-1/2}\epsilon)\|G\|_{L^1}$ が成り立つことを示す。
• 必要とされるトレーニングペアの数は、$\mathcal{O}(\epsilon^{-(n+2)/2}\log(1/\epsilon))$ として導出され、ここで$\epsilon$ は目標精度を制御するパラメータであり、$\Gamma_\epsilon$ はデータセットの質を測る指標である。
• グリーン関数が通常$L^2$に属さないため、$L^1$-ノルムでの理論的解析が不可欠である点を踏まえ、$L^1$-ノルムにおける理論的分析により検証される。

実験結果

リサーチクエスチョン

• RQ1 時間に依存する放物型PDEのグリーン関数を、所定の相対誤差で学習するために必要な最小の入力-出力ペア数は何か？
• RQ2 $n > 1$次元においてグリーン関数が平方可積分でない場合、放物型PDEの解作用素をどのように厳密に近似できるか？
• RQ3 グリーン関数に内蔵された階層的低ランク構造を活用することで、科学的機械学習におけるデータ要件を低減できるか？
• RQ4 確率的SVDは、平方可積分でないグリーン関数の高確率的かつ正確な近似を構築するために果たす役割は何か？
• RQ5 標準的な深層学習手法が$L^2$-損失を用いる場合、時間に依存するPDEに伴う一時的ダイナミクスではなぜ失敗するのか？$L^1$-ベースの学習はその問題をどのように緩和できるか？

主な発見

• 本手法は、真のグリーン関数$G$と学習された近似関数$\tilde{G}$ 間で、高い確率で相対$L^1$-誤差$ mathcal{O}(\Gamma_\epsilon^{-1/2}\epsilon)\|G\|_{L^1}$ を達成する。
• 必要とされるトレーニングペアの数は、$\mathcal{O}(\epsilon^{-(n+2)/2}\log(1/\epsilon))$ で境界づけられる。ここで$\epsilon > 0$ は目標精度、$n$ は空間次元を表す。
• 失敗確率は、$\mathcal{O}(\epsilon^{\log^{n+2}(1/\epsilon) - (n+2)/2})$ で境界づけられ、$\epsilon \to 0$ のとき0に収束する。
• 解析は$L^1$-ノルムで実施され、これは$n > 1$次元における放物型PDEのグリーン関数が一般的に$L^2$に属さないため不可欠である。
• 理論的枠組みは、任意の空間次元における楕円型PDEへと一般化可能であり、$L^1$-ノルムにおける先行研究を拡張する。
• 本研究は、$L^1$-ベースの損失関数や、有理数型ニューラルネットワークのようなアーキテクチャが、一時的ダイナミクスにおける物理的制約付きニューラルネットワークのモード崩壊を克服するための有望な代替手段であると特定する。