[논문 리뷰] On universal approximation and error bounds for Fourier Neural Operators

Nikola Kovachki, Samuel Lanthaler외 1명|CaltechAUTHORS (California Institute of Technology)|2021. 07. 15.

Model Reduction and Neural Networks참고 문헌 30인용 수 34

한 줄 요약

본 논문은 Fourier Neural Operators (FNOs)가 함수 공간 간의 연속 연산자를 근사하는 데 보편적임을 보이고, PDE 관련 연산자에 대해 효율적인 근사를 보이는 명시적 오차 한계를 제시한다(예: Darcy 타입 타원 문제와 비압축 Navier–Stokes 방정식).

ABSTRACT

Fourier neural operators (FNOs) have recently been proposed as an effective framework for learning operators that map between infinite-dimensional spaces. We prove that FNOs are universal, in the sense that they can approximate any continuous operator to desired accuracy. Moreover, we suggest a mechanism by which FNOs can approximate operators associated with PDEs efficiently. Explicit error bounds are derived to show that the size of the FNO, approximating operators associated with a Darcy type elliptic PDE and with the incompressible Navier-Stokes equations of fluid dynamics, only increases sub (log)-linearly in terms of the reciprocal of the error. Thus, FNOs are shown to efficiently approximate operators arising in a large class of PDEs.

연구 동기 및 목표

• Fourier Neural Operators (FNOs)가 함수 공간 간의 연속 연산자를 근사하는 데 보편적임을 보인다.
• PDE 관련 연산자를 근사할 때 FNO에 대한 명시적 오차 경계를 도출한다.
• Ψ-FNO가 PDE로부터의 연산자 효율적으로 근사하는 메커니즘을 보이고, 오차의 다항적/로그적 규모로 확장되는 특징을 제시한다.
• FNO를 대체적인 연산자 학습 프레임워크와 비교하고 PDE 학습에 대한 실용적 시사점을 논의한다.

제안 방법

• Banach 공간에서 입력과 출력을 갖는 연산자 학습 설정을 정의하고, Neural Operators를 리프팅, 비선형 층, 프로젝션의 합성으로 도입한다.
• 커널이 이동 불변이고 Fourier 변환을 통해 구현되는 Fourier Neural Operators에 특화한다.
• 효율적인 계산을 위해 이산 Fourier 변환과 의사스펙트럴 프로젝션을 사용하는 Ψ-FNO를 도입한다.
• Sobolev 공간의 콤팩트 부분집합에서 FNO가 연속 연산자의 보편적 근사를 한다는 것을 증명한다(정리 2.5).
• 주기적 확장을 통해 Lipschitz 경계를 가지는 도메인에 대한 보편성 확장 메커니즘을 제공한다(정리 2.9).
• 비선형 리프팅/프로젝션을 어떻게 수용할 수 있는지와 연산자 합성에서 오차가 어떻게 전파되는지에 대해 논의한다.

실험 결과

연구 질문

• RQ1 Fourier Neural Operators가 무한 차원 공간 간의 광범위한 연속 연산자를 근사할 수 있는가?
• RQ2 주어진 연산자를 특정 정확도로 근사하기 위한 FNO의 오차 경계와 네트워크 크기 요건은 무엇인가?
• RQ3 Ψ-FNOs(의사 스펙트럼 구현)가 PDE로부터 도출된 연산자를 효율적으로 근사하는가?
• RQ4 보편성 및 효율성 면에서 FNO가 다른 연산자 학습 프레임워크와 어떻게 비교되는가?
• RQ5 주기 확장 기법을 통해 Lipschitz 경계를 갖는 도메인에 대해서도 보편성과 효율성 결과가 확장될 수 있는가?

주요 결과

• FNO는 보편적이다: H^s에서 H^{s'}로의 모든 연속 연산자를 콤팩트 부분집합에서 임의 정확도로 근사할 수 있다.
• 최악의 경우 일반 연산자에 대해 네트워크 크기가 필요한 정확도에 비례하여 지수적으로 증가할 수 있다.
• Darcy-type 타원 방정식 및 비압축 Navier–Stokes 방정식에서 유래한 연산자를 근사하는 Ψ-FNO의 경우, 필요한 네트워크 크기가 오차의 역수에 다항식(로그선형)으로 비례하므로 효율적인 근사를 나타낸다.
• Ψ-FNO는 이산 Fourier 변환과 FFT 기반 도구를 활용하여 실용적이고 효율적인 계산을 가능하게 한다.
• 이론적 결과는 PDE의 연산자 학습에서 FNO를 사용하는 것에 대한 최초의 엄밀한 정당화를 제공하며, 관찰된 계산 성능과 일치한다.