[論文レビュー] On universal approximation and error bounds for Fourier Neural Operators

Nikola Kovachki, Samuel Lanthaler+1 more|CaltechAUTHORS (California Institute of Technology)|Jul 15, 2021

Model Reduction and Neural Networks参考文献 30被引用数 34

ひとこと要約

本論文は、Fourier Neural Operators (FNOs) が関数空間間の連続作用素を近似する普遍性を持つことを証明し、ディーセルパー系関連の作用素（例： Darcy 型楕円問題および不可压 Navier–Stokes 方程式）に対して効率的な近似を示す明示的な誤差境界を提供する。

ABSTRACT

Fourier neural operators (FNOs) have recently been proposed as an effective framework for learning operators that map between infinite-dimensional spaces. We prove that FNOs are universal, in the sense that they can approximate any continuous operator to desired accuracy. Moreover, we suggest a mechanism by which FNOs can approximate operators associated with PDEs efficiently. Explicit error bounds are derived to show that the size of the FNO, approximating operators associated with a Darcy type elliptic PDE and with the incompressible Navier-Stokes equations of fluid dynamics, only increases sub (log)-linearly in terms of the reciprocal of the error. Thus, FNOs are shown to efficiently approximate operators arising in a large class of PDEs.

研究の動機と目的

• Fourier Neural Operators (FNOs) が関数空間間の連続作用素を近似する普遍性を持つことを示す。
• PDE関連の作用素を近似する際の FNOs の明示的な誤差境界を導出する。
• Ψ-FNOs が PDE 由来の作用素を効率的に近似する仕組みを示し、誤差の多項式/対数スケーリングを伴う。
• FNOs を他の作用素学習フレームワークと比較し、PDE 学習への実践的影響を論じる。

提案手法

• Banach 空間を入力出力とする作用素学習設定を定義し、ニューラルオペレーターをリフティング、非線形層、射影の合成として導入する。
• 核が平行移動不変でフーリエ変換を用いて実装される Fourier Neural Operators に特化する。
• 離散フーリエ変換と疑似スペクトル射影を用いて効率的な計算を行う Ψ-FNOs を導入する。
• Sobolev 空間のコンパクト部分集合上で FNOs による連続作用素の普遍近似性を証明する（定理 2.5）。
• 周期拡張を用いてリプシッツ領域に対する普遍性を拡張する仕組みを提供する（定理 2.9）。
• 非線形リフティング/射影をどのように取り扱い、演算子の合成を通じて誤差がどのように伝搬するかを論じる。

実験結果

リサーチクエスチョン

• RQ1 Fourier Neural Operators は無限次元空間間の広範な連続作用素を近似できるか？
• RQ2 ある指定された精度で与えられた作用素を近似するための FNO の誤差境界とネットワークサイズの要件は何か？
• RQ3 Ψ-FNOs（擬似スペクトル実装）は PDE由来の作用素を効率的に近似できるか？
• RQ4 普遍性と効率の観点から FNOs は他の作用素学習フレームワークとどう比較されるか？
• RQ5 周期拡張技術を用いてリプシッツ境界を持つ領域へ普遍性と効率性の結果を拡張できるか？

主な発見

• FNOs は普遍的である。コンパクト集合上で H^s から H^{s'} への任意の連続作用素を任意の精度で近似できる。
• 最悪の場合、一般的な作用素に対して望まれる精度に対してネットワークサイズが指数的に増加する可能性がある。
• Darcy 型楕円方程式および不可縮 Navier–Stokes 方程式に起因する作用素を近似する Ψ-FNOs では、必要なネットワークサイズが誤差の逆数に対して多項式（対数線形）にスケールし、効率的な近似を示す。
• Ψ-FNOs は離散フーリエ変換と FFT ベースの道具立てを活用して、実用的で効率的な計算を可能にする。
• これらの理論結果は、PDE の作用素学習における FNOs の使用を初めて厳密に正当化するものであり、観測された計算性能と一致している。