[논문 리뷰] Neural Operator: Learning Maps Between Function Spaces

Nikola Kovachki, Zongyi Li외 5명|arXiv (Cornell University)|2021. 08. 19.

Model Reduction and Neural Networks참고 문헌 101인용 수 79

한 줄 요약

이 논문은 무한 차원 함수 공간 사이의 연산자를 학습하도록 신경망을 일반화하고, 이산화에 불변인 보편 근사성을 증명하며 PDE 솔루션 연산자를 학습하기 위한 네 가지 실용적 신경 연산자 아키텍처를 제안한다.

ABSTRACT

The classical development of neural networks has primarily focused on learning mappings between finite dimensional Euclidean spaces or finite sets. We propose a generalization of neural networks to learn operators, termed neural operators, that map between infinite dimensional function spaces. We formulate the neural operator as a composition of linear integral operators and nonlinear activation functions. We prove a universal approximation theorem for our proposed neural operator, showing that it can approximate any given nonlinear continuous operator. The proposed neural operators are also discretization-invariant, i.e., they share the same model parameters among different discretization of the underlying function spaces. Furthermore, we introduce four classes of efficient parameterization, viz., graph neural operators, multi-pole graph neural operators, low-rank neural operators, and Fourier neural operators. An important application for neural operators is learning surrogate maps for the solution operators of partial differential equations (PDEs). We consider standard PDEs such as the Burgers, Darcy subsurface flow, and the Navier-Stokes equations, and show that the proposed neural operators have superior performance compared to existing machine learning based methodologies, while being several orders of magnitude faster than conventional PDE solvers.

연구 동기 및 목표

• 함수 공간 간의 매핑을 학습하도록 자릿수 벡터가 아닌 무한 차원 공간 사이의 매핑을 동기화하여 이산화 불변성을 가능하게 한다.
• 신경 연산자 프레임워크를 선형 연산자와 비선형 활성화의 복합으로 제시하고 보편 근사 보장을 제공한다.
• 네 가지 실용적 신경-연산자 아키텍처를 개발한다(그래프 기반, 저랭크, 다극 그래프 기반, 푸리에 연산자).
• Burgers, Darcy 흐름, Navier–Stokes 와 같은 PDE에서 우수한 성능과 속도를 입증한다.

제안 방법

• 신경 연산자를 선형 연산자 층과 비선형 활성화의 다층 구성으로 정의하여 전체 매핑이 연산자가 되도록 한다.
• 이산화 불변성 도입: 고정 매개변수를 가진 입력 이산화에 관계없이 작동하고 이산화가 정제될수록 연속 체 연산자로 수렴하는 모델을 제시한다.
• 연산자 층의 네 가지 구현 방식: 그래프 기반(Nyström 확장), 저랭크, 다극 그래프 기반, 푸리에 연산자.
• 비국소 상호 작용을 구현하기 위해 적분 커널 연산자를 사용하고 층 업데이트에 대한 커널 형태(식 7, 8, 9)를 제안한다.
• 학습을 돕기 위한 문제 기하학이나 도함수 정보를 주입하는 전처리 전략을 제공한다.
• 보편 근사화: 신경 연산자는 유한 차원 Banach 공간 간의 연속 연산자를 콤팩트 집합에서 근사할 수 있다(섹션 9).
• 이산화 불변성과 연산자 보편성을 이산화 및 메쉬 전반에 걸친 실험으로 입증한다.

실험 결과

연구 질문

• RQ1 네트워크 연산자가 무한 차원 함수 공간 간의 비선형 매핑을 근사할 수 있는가?
• RQ2 고정 매개변수 수로 이산화 불변 신경 구조가 가능하고 연속 체 연산자로 수렴하는가?
• RQ3 그래프 기반, 저랭크, 다극, 푸리에 연산자 형태가 PDE 해 솔루션 연산자를 학습하는 데 어떤 비교 우위를 가지는가?
• RQ4 다양한 이산화에 걸쳐 Burgers, Darcy 흐름, Navier–Stokes와 같은 PDE의 해 솔루션 연산자를 신속하게 대체 surrogate로 만들 수 있는가?

주요 결과

• 신경 연산자는 이산화 불변이며 Banach 공간의 콤팩트 집합에서 연속 연산자를 보편적으로 근사한다.
• 네 가지 실용적 연산자 구현(그래프 기반, 저랭크, 다극 그래프 기반, 푸리에)이 PDE 대체물에서 표준 ML 접근법을 능가한다.
• 2D Navier–Stokes의 경우 전체 흐름 매핑 학습은 Re = 20에서 1% 미만의 오차, Re = 200에서 약 8%의 오차를 달성한다.
• 푸리에 신경 연산자(FNO)는 256×256 격자에서 추론 시간이 약 0.005초에 도달하며 데이터 생성을 위해 사용된 의사 스펙트럼 풀이기(2.2초)보다 세 자릿수 빠르다.
• 이 방법은 노이즈에 강건하고 베이지안 역문제와 같은 다운스트림 작업에서도 성능 저하가 없다.