[논문 리뷰] Nonlocality and Nonlinearity Implies Universality in Operator Learning

Samuel Lanthaler, Zongyi Li외 1명|arXiv (Cornell University)|2023. 04. 26.

Neural Networks and Applications인용 수 20

한 줄 요약

논문은 비국소 신경 연산자(NNO) 클래스를 도입하고, 간단한 평균화 비국소성으로 임의 기하학에서 연산자에 대한 보편 근사성을 증명하며, Fourier 신경 연산자(FNO)가 고정된 모드 수로 보편적임을 보여준다.

ABSTRACT

Neural operator architectures approximate operators between infinite-dimensional Banach spaces of functions. They are gaining increased attention in computational science and engineering, due to their potential both to accelerate traditional numerical methods and to enable data-driven discovery. As the field is in its infancy basic questions about minimal requirements for universal approximation remain open. It is clear that any general approximation of operators between spaces of functions must be both nonlocal and nonlinear. In this paper we describe how these two attributes may be combined in a simple way to deduce universal approximation. In so doing we unify the analysis of a wide range of neural operator architectures and open up consideration of new ones. A popular variant of neural operators is the Fourier neural operator (FNO). Previous analysis proving universal operator approximation theorems for FNOs resorts to use of an unbounded number of Fourier modes, relying on intuition from traditional analysis of spectral methods. The present work challenges this point of view: (i) the work reduces FNO to its core essence, resulting in a minimal architecture termed the ``averaging neural operator'' (ANO); and (ii) analysis of the ANO shows that even this minimal ANO architecture benefits from universal approximation. This result is obtained based on only a spatial average as its only nonlocal ingredient (corresponding to retaining only a \emph{single} Fourier mode in the special case of the FNO). The analysis paves the way for a more systematic exploration of nonlocality, both through the development of new operator learning architectures and the analysis of existing and new architectures. Numerical results are presented which give insight into complexity issues related to the roles of channel width (embedding dimension) and number of Fourier modes.

연구 동기 및 목표

• 무한 차원 함수 공간에서의 연산자 학습 동기를 제시하고 기존 아키텍처의 기하학적 제약을 다룬다.
• 비국소 신경 연산자(NNO)를 도입하고 이것이 Fourier 신경 연산자(FNO)와 같은 기존 연산자를 포괄함을 보인다.
• 간단한 평균화 비국소성으로 NNO의 보편적 근사 결과를 보여준다.
• 기하학 전체에 걸친 보편성을 가능하게 하는 비국소성과 비선형성의 역할을 강조한다.

제안 방법

• NNO 아키텍처를 리프팅, 다수의 은닉층, 투영으로 정의하여 학습된 구성요소를 통해 비국소 상호작용을 가능하게 한다.
• 평균화 비국소 항이 보편성을 달성하는 데 충분하다는 것을 보여준다(ANO은 특별한 경우이다).
• C^s 및 Sobolev 공간에서 NNO에 대한 두 보편 근사 정리(정리 1.1 및 1.2)를 증명한다.
• 일반 연산자를 ANO 기반 스킴으로 축소하는 인코더-디코더 관점을 제공한다.
• ANO를 일반 신경 연산자, 저랭크 커널, Fourier, wavelet, Laplace 및 관련 연산자와 연결하여 보편성을 확장한다.

실험 결과

연구 질문

• RQ1 비국소성과 비선형성이 임의 기하학에서의 함수 공간 사이의 연산자에 대한 보편 근사성을 가져올 수 있는가?
• RQ2 보편성을 보장하기에 충분한 비국소성의 최소량은 얼마인가(예: 평균화만으로 충분한가)?
• RQ3 주기적 도메인을 넘어서 일반 도메인과 Sobolev 공간에서도 결과가 확장되는가?
• RQ4 NNO가 FNO, DeepONet, NOMAD와 같은 기존 신경 연산자 아키텍처를 어떻게 관련시키고 통합하는가?

주요 결과

• 두 가지 보편 근사 정리는 NNO가 컴팩트한 함수 집합에서 임의의 연속 연산자를 임의의 정확도로 근사할 수 있음을 보여준다.
• 단일 평균화 계층으로 보편성을 달성할 수 있다(ANO는 보편적이다).
• 결과는 고정된 수의 푸리에 모드를 가진 FNO에 대해서도 보편적 근사를 시사한다(심지어 제로 모드만으로도).
• 프레임워크는 일반적 적분 커널, 저랭크, Fourier, wavelet, Laplace 및 관련 아키텍처를 포함하는 광범위한 신경 연산자 클래스를 통합한다.
• 채널 폭(피처 수)이 차수 모드보다 근사 능력을 좌우할 수 있으며 이는 실증적 관찰과 일치한다.
• 평균화 접근 방식은 연산자 학습에서 비국소성과 비선형성의 상호 작용에 대한 새로운 통찰을 제공한다.