[논문 리뷰] Fourier Neural Operator for Parametric Partial Differential Equations

Zongyi Li, Nikola Kovachki외 5명|arXiv (Cornell University)|2020. 10. 18.

Model Reduction and Neural Networks참고 문헌 32인용 수 1,078

한 줄 요약

이 논문은 Fourier Neural Operator(FNO)를 소개하는데, 이는 Fourier 공간에서 커널을 매개화하여 함수 공간 사이의 매핑을 학습하는 메쉬-불변 신경 연산자이며 Burgers, Darcy, Navier-Stokes와 같은 PDE에서 빠르고 제로샷 초해상도를 달성합니다.

ABSTRACT

The classical development of neural networks has primarily focused on learning mappings between finite-dimensional Euclidean spaces. Recently, this has been generalized to neural operators that learn mappings between function spaces. For partial differential equations (PDEs), neural operators directly learn the mapping from any functional parametric dependence to the solution. Thus, they learn an entire family of PDEs, in contrast to classical methods which solve one instance of the equation. In this work, we formulate a new neural operator by parameterizing the integral kernel directly in Fourier space, allowing for an expressive and efficient architecture. We perform experiments on Burgers' equation, Darcy flow, and Navier-Stokes equation. The Fourier neural operator is the first ML-based method to successfully model turbulent flows with zero-shot super-resolution. It is up to three orders of magnitude faster compared to traditional PDE solvers. Additionally, it achieves superior accuracy compared to previous learning-based solvers under fixed resolution.

연구 동기 및 목표

• 파라메트릭 PDE를 위한 함수 공간에서 함수 공간으로 매핑하는 신경 연산자 프레임워크를 개발한다.
• Kernel을 Fourier 공간에서 매개화하여 메쉬-불변성과 제로샷 초해상도를 달성한다.
• 전통 해석기 및 기존 학습 기반 방법들에 비해 다양한 PDE에서 속도 향상과 정확도 향상을 시연한다.
• 시간 의존 및 비시간 의존 PDE에의 적용 가능성과 데이터 요구사항 및 한계에 대해 논의한다.

제안 방법

• v_{t+1}(x) = σ(W v_t(x) + (K(a; φ) v_t)(x))로 반복 신경 연산자 아키텍처를 정의한다.
• 커널 적분 연산자를 Fourier 스페이스 컨볼루션 연산자로 대체하여 FFT를 통한 효율적 계산을 가능하게 한다.
• Fourier 커널 κ_φ를 그 Fourier 변환 R_φ를 통해 매개화하고 학습 가능하도록 k_max 모드로 절단한다.
• ReLU 활성화와 배치 정규화를 갖는 네 개의 Fourier 적분 연산자 계층으로 FNO를 구성한다.
• 저해상도 데이터로 학습하고 더 높은 해상도 그리드에서 평가하여 이산화-불변성과 제로샷 초해상도를 시연한다.

실험 결과

연구 질문

• RQ1 신경 연산자가 입력 함수에서 출력 함수로의 설정에서 파라메트릭 PDE의 해 해결 연산자를 학습할 수 있는가?
• RQ2 커널을 Fourier 공간에서 매개화하는 것이 다양한 PDE와 해상도에서 메쉬-불변하고 빠르며 정확한 연산자를 생성하는가?
• RQ3 Fourier 신경 연산자는 제로샷 초해상도를 달성하고 Burgers’, Darcy, Navier–Stokes 방정식에서 기존의 신경 연산자 및 벤치마크를 능가하는가?
• RQ4 복잡한 PDE를 위한 FNO 학습의 데이터 요구사항과 트레이드오프는 무엇이며, Bayesian 역문제에서의 성능은 어떠한가?

주요 결과

• Fourier 신경 연산자는 난류 영역에서 Burgers’, Darcy, Navier–Stokes에 대한 해 해결 연산자의 해상도 불변성을 학습한다.
• FNO는 제로샷 초해상도를 달성하며 학습 중에 본 적이 없는 해상도에서도 평가될 수 있다.
• 고정 해상도에서 FNO는 Burgers’, ~30%의 상대 오차, Darcy에서 ~60%, Navier–Stokes에서 ~30%의 벤치마크 대비 향상을 보인다.
• 256×256 격자에서 FNO 추론 시간은 0.005초인 반면 의사-스펙트럴 해석기는 2.2초로, Bayesian 추론과 같은 다운스트림 작업에서 정확도 손실이 없다.
• 공간-시간 컨볼루션인 FNO-3D는 데이터가 충분할 때 종종 최상의 성능을 제공하고, 데이터가 제한적일 때는 FNO–2D 변형도 여러 벤치마크를 능가한다.
• 모델은 비주기적 경계에서도 효과적으로 작동하며 계층 간 활성화 다중 주파수 내용을 회복할 수 있다.