[論文レビュー] Nonlocality and Nonlinearity Implies Universality in Operator Learning

Samuel Lanthaler, Zongyi Li+1 more|arXiv (Cornell University)|Apr 26, 2023

Neural Networks and Applications被引用数 20

ひとこと要約

本論文は非局所ニューラル演算子（NNO）クラスを提案し、単純な平均化非局所性を用いて任意の幾何形状上の演算子に対する普遍近似性を証明し、 Fourierニューラル演算子が固定数のモードで普遍性を持つことを示す。

ABSTRACT

Neural operator architectures approximate operators between infinite-dimensional Banach spaces of functions. They are gaining increased attention in computational science and engineering, due to their potential both to accelerate traditional numerical methods and to enable data-driven discovery. As the field is in its infancy basic questions about minimal requirements for universal approximation remain open. It is clear that any general approximation of operators between spaces of functions must be both nonlocal and nonlinear. In this paper we describe how these two attributes may be combined in a simple way to deduce universal approximation. In so doing we unify the analysis of a wide range of neural operator architectures and open up consideration of new ones. A popular variant of neural operators is the Fourier neural operator (FNO). Previous analysis proving universal operator approximation theorems for FNOs resorts to use of an unbounded number of Fourier modes, relying on intuition from traditional analysis of spectral methods. The present work challenges this point of view: (i) the work reduces FNO to its core essence, resulting in a minimal architecture termed the ``averaging neural operator'' (ANO); and (ii) analysis of the ANO shows that even this minimal ANO architecture benefits from universal approximation. This result is obtained based on only a spatial average as its only nonlocal ingredient (corresponding to retaining only a \emph{single} Fourier mode in the special case of the FNO). The analysis paves the way for a more systematic exploration of nonlocality, both through the development of new operator learning architectures and the analysis of existing and new architectures. Numerical results are presented which give insight into complexity issues related to the roles of channel width (embedding dimension) and number of Fourier modes.

研究の動機と目的

• 無限次元の関数空間における演算子学習を動機づけ、既存のアーキテクチャにおける幾何制約へ対処する。
• 非局所ニューラル演算子（NNO）を導入し、それがフーリエニューラル演算子（FNO）など既存の演算子を包含することを示す。
• 単純な平均化非局所性を用いたNNOの普遍近似結果を示す。
• 幾何を超えた普遍性を可能にする非局所性と非線形性の役割を強調する。

提案手法

• 学習可能な成分を介して非局所的な相互作用を可能にする、リフティング、複数の隠れ層、および射影を備えたNNOアーキテクチャを定義する。
• 普遍性を達成するのに単純な平均化非局所項が十分であることを示す（ANOは特別な場合）。
• NNOsに対してC^s空間とソボレフ空間で2つの普遍近似定理（定理1.1と1.2）を証明する。
• 一般の演算子をANOベースのスキームに還元するエンコーダ-デコーダー視点を提供する。
• ANOを一般的なニューラル演算子、低ランクカーネル、フーリエ、波動、ラプラスなどの関連演算子に関連づけて普遍性を拡張する。

実験結果

リサーチクエスチョン

• RQ1 任意の幾何形状上の関数空間間の演算子に対して、非局所性と非線形性の組み合わせによって普遍近似性が得られるか。
• RQ2 普遍性を保証するにはどれだけの非局所性が必要か（例えば平均化で十分か）？

主な発見

• 2つの普遍近似定理は、NNOがコンパクトな関数集合上の任意の連続演算子を任意の精度で近似できることを示す。
• 単一の平均化レイヤーだけで普遍性を達成できる（ANOは普遍である）。
• 結果は、固定数のフーリエモードを用いたFNOの普遍近似を示唆する（0次モードだけでも可能）。
• 本フレームワークは、一般的な積分カーネル、低ランク、フーリエ、小波、ラプラスなどの関連アーキテクチャを含む、広範なニューラル演算子を統合する。
• 実務上はチャネル幅（特徴数）が近似能力を左右することが多く、経験的観察と一致する。
• 平均化アプローチは、演算子学習における非局所性と非線性の作用の新たな洞察を提供する。