[논문 리뷰] LNO: Laplace Neural Operator for Solving Differential Equations

Qianying Cao, Somdatta Goswami외 1명|arXiv (Cornell University)|2023. 03. 19.

Model Reduction and Neural Networks인용 수 24

한 줄 요약

Laplace Neural Operator(LNO)는 Laplace 도메인에서 신경 연산자를 학습하여 과도 및 정상 상태 응답을 포착하고, ODE/PDE에서 Fourier Neural Operator(FNO)보다 우수하며, 학습 가능한 매개변수로 해석 가능한 극과 잔류를 제공합니다.

ABSTRACT

We introduce the Laplace neural operator (LNO), which leverages the Laplace transform to decompose the input space. Unlike the Fourier Neural Operator (FNO), LNO can handle non-periodic signals, account for transient responses, and exhibit exponential convergence. LNO incorporates the pole-residue relationship between the input and the output space, enabling greater interpretability and improved generalization ability. Herein, we demonstrate the superior approximation accuracy of a single Laplace layer in LNO over four Fourier modules in FNO in approximating the solutions of three ODEs (Duffing oscillator, driven gravity pendulum, and Lorenz system) and three PDEs (Euler-Bernoulli beam, diffusion equation, and reaction-diffusion system). Notably, LNO outperforms FNO in capturing transient responses in undamped scenarios. For the linear Euler-Bernoulli beam and diffusion equation, LNO's exact representation of the pole-residue formulation yields significantly better results than FNO. For the nonlinear reaction-diffusion system, LNO's errors are smaller than those of FNO, demonstrating the effectiveness of using system poles and residues as network parameters for operator learning. Overall, our results suggest that LNO represents a promising new approach for learning neural operators that map functions between infinite-dimensional spaces.

연구 동기 및 목표

• 비주기적 신호와 과도 응답을 처리할 수 있는 신경 연산자를 동기화하고 개발한다.
• 극-잔류 기반 Laplace 레이어를 도입하여 Laplace 도메인에서 학습한다.
• LNO가 FNO와 GRU보다 시간 의존 ODE 및 PDE 집합에서 더 높은 정확도를 시연한다.
• 극과 잔류를 통해 입력 신호와 시스템 응답 사이의 해석 가능한 매핑을 제공한다.

제안 방법

• 얕은 네트워크로 입력을 더 높은 차원으로 확장한다.
• 극-잔여 형태의 커널 연산자를 가진 Laplace 레이어를 적용한다.
• Laplace 도메인에서 시스템의 극과 잔류를 네트워크 매개변수로 학습한다.
• 역 Laplace 변환을 통해 과도 및 정상 상태 응답을 계산한다.
• 중간 출력을 로컬 변환 네트워크로 목표 차원으로 다시 투영한다.

실험 결과

연구 질문

• RQ1 LNO가 시간 의존 ODE/PDE에서 FNO보다 동시에 과도 및 정상 상태 응답을 더 잘 포착할 수 있는가?
• RQ2 학습 가능한 시스템 극과 잔류가 신경 연산자의 해석 가능성 및 일반화에 기여하는가?
• RQ3 비주기적이거나 댐핑된/비댐핑 시스템에서 LNO의 성능은 FNO 및 GRU와 비교해 어떠한가?
• RQ4 무한 차원 공간 간 연산자 학습에 Laplace 도메인 형식이 이점이 있는가?

주요 결과

• LNO는 세 가지 ODE(Duffing, driven gravity pendulum, Lorenz)와 세 가지 PDE(Euler-Bernoulli beam, diffusion, reaction-diffusion)에서 FNO보다 근사 정확도가 높다.
• LNO는 특히 무댐핑 상황에서 FNO보다 과도 응답을 더 잘 포착한다.
• 선형 Euler-Bernoulli beam 및 diffusion 방정식의 경우 LNO의 극-잔류 표현이 FNO에 비해 현저히 개선된 결과를 보인다.
• 비선형 반응-확산 시스템에서 LNO 오차가 FNO보다 작아 극과 잔류를 훈련 가능한 매개변수로 사용하는 이점이 입증된다.
• LNO는 테스트된 과제에서 FNO보다 일반화 격차가 작고 Laplace 도메인에서 물리적으로 의미 있는 매핑을 제공한다.