[論文レビュー] LNO: Laplace Neural Operator for Solving Differential Equations

Qianying Cao, Somdatta Goswami+1 more|arXiv (Cornell University)|Mar 19, 2023

Model Reduction and Neural Networks被引用数 24

ひとこと要約

ラプラス領域でニューラル演算子を学習する Laplace Neural Operator (LNO) を導入し、過渡応答と定常応答を捉える。ODE/PDE で FNO を上回り、訓練可能なパラメータとして解釈可能な極と残差を持つ。

ABSTRACT

We introduce the Laplace neural operator (LNO), which leverages the Laplace transform to decompose the input space. Unlike the Fourier Neural Operator (FNO), LNO can handle non-periodic signals, account for transient responses, and exhibit exponential convergence. LNO incorporates the pole-residue relationship between the input and the output space, enabling greater interpretability and improved generalization ability. Herein, we demonstrate the superior approximation accuracy of a single Laplace layer in LNO over four Fourier modules in FNO in approximating the solutions of three ODEs (Duffing oscillator, driven gravity pendulum, and Lorenz system) and three PDEs (Euler-Bernoulli beam, diffusion equation, and reaction-diffusion system). Notably, LNO outperforms FNO in capturing transient responses in undamped scenarios. For the linear Euler-Bernoulli beam and diffusion equation, LNO's exact representation of the pole-residue formulation yields significantly better results than FNO. For the nonlinear reaction-diffusion system, LNO's errors are smaller than those of FNO, demonstrating the effectiveness of using system poles and residues as network parameters for operator learning. Overall, our results suggest that LNO represents a promising new approach for learning neural operators that map functions between infinite-dimensional spaces.

研究の動機と目的

• 非周期信号と過渡応答を扱えるニューラル演算子を動機づけて開発する。
• ラプラス領域で学習するための極-残差ベースのラプラス層を導入する。
• 時間依存の ODE/ PDE のスイートに対して LNO の精度が FNO や GRU を上回ることを示す。
• 極と残差を介して入力信号と系応答との解釈可能な写像を提供する。

提案手法

• 浅いネットワークで入力を低次元から高次元へリフトする。
• 極-残差形式で表現された核演算子を用いるラプラス層を適用する。
• ラプラス領域でネットワークパラメータとして系の極と残差を学習する。
• 逆ラプラス変換を通じて過渡応答と定常応答を計算する。
• 局所的変換ネットワークで中間出力を目標次元へ射影する。

実験結果

リサーチクエスチョン

• RQ1 LNO は FNO よりも時間依存の ODE/PDE に対して過渡応答と定常応答を同時により良く捉えることができるか。
• RQ2 訓練可能な系の極と残差はニューラル演算子の解釈性と一般化を改善するか。
• RQ3 非周期性または減衰/非減衰系に対して LNO は FNO や GRU と比べてどう機能するか。
• RQ4 ラプラス領域の定式化は無限次元空間間の演算子学習に有利か。

主な発見

• LNO は三つの ODE（ダフィング、駆動重力子振動子、ローレンス）と三つの PDE（オイラー-ベルヌーイ梁、拡散、反応-拡散）で FNO より高い近似精度を達成する。
• LNO は特に減衰しない状況で FNO より過渡応答をよりよく捉える。
• 線形のオイラー-ベルヌーイ梁方程式と拡散方程式に対して、LNO の極-残差表現は FNO より著しく改善された結果をもたらす。
• 非線形反応拡散系では、LNO の誤差が FNO より小さく、極と残差を訓練可能なパラメータとして使う利点を示す。
• LNO はテストされたタスク全般で FNO より一般化ギャップが小さく、ラプラス領域での物理的に意味ある写像を提供する。