[論文レビュー] Neural Operator: Learning Maps Between Function Spaces

Nikola Kovachki, Zongyi Li+5 more|arXiv (Cornell University)|Aug 19, 2021

Model Reduction and Neural Networks参考文献 101被引用数 79

ひとこと要約

本論文はニューラルネットワークを一般化し、無限次元関数空間間の演算子を学習することを可能にし、離散化に依存しない普遍近似を証明するとともに、PDE解の演算子を学習するための4つの実用的なニューラル演算子アーキテクチャを提案します。

ABSTRACT

The classical development of neural networks has primarily focused on learning mappings between finite dimensional Euclidean spaces or finite sets. We propose a generalization of neural networks to learn operators, termed neural operators, that map between infinite dimensional function spaces. We formulate the neural operator as a composition of linear integral operators and nonlinear activation functions. We prove a universal approximation theorem for our proposed neural operator, showing that it can approximate any given nonlinear continuous operator. The proposed neural operators are also discretization-invariant, i.e., they share the same model parameters among different discretization of the underlying function spaces. Furthermore, we introduce four classes of efficient parameterization, viz., graph neural operators, multi-pole graph neural operators, low-rank neural operators, and Fourier neural operators. An important application for neural operators is learning surrogate maps for the solution operators of partial differential equations (PDEs). We consider standard PDEs such as the Burgers, Darcy subsurface flow, and the Navier-Stokes equations, and show that the proposed neural operators have superior performance compared to existing machine learning based methodologies, while being several orders of magnitude faster than conventional PDE solvers.

研究の動機と目的

• 有限次元ベクトルではなく関数空間間の写像を学習する動機づけを行い、離散化に不変性を実現する。
• ニューラル演算子フレームワークを、線形演算子と非線形活性化の合成として提案し、普遍近似保証を与える。
• グラフベース、低ランク、モポールグラフベース、フーリエ演算子の4つの実用的なニューラル演算子アーキテクチャを開発する。
• Burgers方程式、Darcy流、Navier–StokesなどのPDEにおいて優れた性能と速度を示す。

提案手法

• ニューラル演算子を、線形演算子層と非線形活性化の多層合成として定義し、全体の写像が演算子であることを保証する。
• 離散化不変性を導入する：固定パラメータを持つモデルが任意の入力離散化を受け付け、離散化が細化されると連続体演算子へ収束する。
• 演算子層の4つの具体例を示す：グラフベース（Nyström拡張）、低ランク、モポールグラフベース、フーリエ演算子。
• 非局所的相互作用を実現するために積分カーネル演算子を使用し、層更新のカーネル形式（Equation 7, 8, 9）を提案する。
• 学習を補助するために問題の幾何情報や導関情報を注入する前処理戦略を提供する。
• 普遍近似を示す：ニューラル演算子は、コンパクト集合上のBanach空間間の任意の連続演算子を近似できる（Section 9）。
• 離散化不変性と演算子の普遍性を、離散化とメッシュを跨ぐ経験的な検証で実証する。

実験結果

リサーチクエスチョン

• RQ1 ニューラル演算子は無限次元の関数空間間の非線形写像を近似できるか？
• RQ2 固定パラメータ数で離散化不変なニューラルアーキテクチャが可能で、連続体演算子へ収束するか？
• RQ3 グラフベース、低ランク、モポール、フーリエ演算子の形成は、PDE解の演算子を学習する際にどのように比較されるか？
• RQ4 ニューラル演算子は、Burgers方程式、Darcy流、Navier–StokesなどのPDEの解の演算子を、異なる離散化に跨って効率的に代理できるか？

主な発見

• ニューラル演算子は離散化不変で、Banach空間のコンパクト集合上の連続演算子を普遍的に近似する。
• 4つの実用的な演算子の具体化（グラフベース、低ランク、モポールグラフベース、フーリエ）は、PDE近似問題において標準的なML手法を上回る。
• 2D Navier–Stokesでは、全流れ写像を学習するとRe = 20で誤差 <1%、Re = 200で約8%の誤差。
• Fourier neural operator (FNO) は256×256グリッドで推論時間約0.005秒を達成し、データ生成に用いた擬似スペクトルソルバ（2.2 s）より約3オーダーオブマグニチュード速い。
• 本手法はノイズに対して頑健で、ベイズ逆問題のような下流タスクで使用しても劣化しない。