[論文レビュー] Neural Operator: Graph Kernel Network for Partial Differential Equations

Zongyi Li, Nikola Kovachki+5 more|arXiv (Cornell University)|Mar 7, 2020

Model Reduction and Neural Networks参考文献 35被引用数 154

ひとこと要約

ニューラルオペレータを導入し、メッシュ不変なネットワークがグラフカーネルネットワークとNyström近似を用いて、さまざまな離散化に跨る PDE の解を関数空間間の写像として学習する。

ABSTRACT

The classical development of neural networks has been primarily for mappings between a finite-dimensional Euclidean space and a set of classes, or between two finite-dimensional Euclidean spaces. The purpose of this work is to generalize neural networks so that they can learn mappings between infinite-dimensional spaces (operators). The key innovation in our work is that a single set of network parameters, within a carefully designed network architecture, may be used to describe mappings between infinite-dimensional spaces and between different finite-dimensional approximations of those spaces. We formulate approximation of the infinite-dimensional mapping by composing nonlinear activation functions and a class of integral operators. The kernel integration is computed by message passing on graph networks. This approach has substantial practical consequences which we will illustrate in the context of mappings between input data to partial differential equations (PDEs) and their solutions. In this context, such learned networks can generalize among different approximation methods for the PDE (such as finite difference or finite element methods) and among approximations corresponding to different underlying levels of resolution and discretization. Experiments confirm that the proposed graph kernel network does have the desired properties and show competitive performance compared to the state of the art solvers.

研究の動機と目的

• 無限次元の関数空間間の写像を、有限次元空間間の写像ではなく学習する動機付け。
• 離散化に不変で、メッシュ解像度をまたいで転送可能なニューラルオペレータフレームワークを開発する。
• Nyström型カーネル近似を介してPDE解の演算子を近似する、グラフニューラルネットワークベースのカーネルを提案する。
• 単一のネットワークパラメータセットで、異なる離散化や格子に対して一般化できることを示す。

提案手法

• Neural OperatorをBanach空間間の演算子値写像として定義し、それをグラフカーネルネットワークで近似する。
• PDE解の表現における積分演算子の作用を近似するため、カーネルベースのメッセージパッシングスキームを用いる。
• エッジ特徴を n 行列へ写すパラメータ化されたカーネルを持つニューラルネットワーク phi によって実現し、離離散化を跨ぐ共有パラメータセットを可能にする。
• 連続カーネルをNyström拡張とモンテカルロサブサンプリングを通じて離散グラフへ接続し、メッシュに依存しないスケーラブルな計算を達成する。
• 隠れ状態 v_t を t=0,...,T 上で反復させ、活性化関数として  を用い、最終投影層を介して解 u を再取得する。

実験結果

リサーチクエスチョン

• RQ1 ニューラルネットワークは、離散化に不変な無限次元関数空間（演算子）間の写像を学習できるか？
• RQ2 グラフベースのカーネルネットワークは、ある離散化で学習された場合、PDE解の演算子のために別のメッシュ解像度や格子に一般化できるか？
• RQ3 Nyström型カーネル近似は、PDE演算子をスケーラブルでメッシュ非依存の学習を可能にする上でどれだけ効果的か？
• RQ4 Poisson型PDEのGreenの関数様カーネルを学習するグラフカーネルネットワークのデータ効率はどれくらいか？
• RQ5 半教師あり学習は、データが少ない点からの正確な演算子学習と全領域への一般化を可能にするか？

主な発見

• グラフカーネルネットワークは、異なる離散化や格子解像度に対して一般化する。
• Nyströmベースのサブサンプリングにより、精度を維持しつつ計算をスケーラブルな O(l m^2) に達成する。
• 2D Poisson方程式では、グラフカーネルネットワークは、密結合ネットより要素数が少ない訓練サンプルで競争的な誤差を達成する。
• このアプローチは半教師あり学習を実行でき、限られた点のデータから全領域への一般化を達成する。
• 一つの解像度での訓練は、他の解像度へのある程度の一般化を示し、対角結果が最良の性能を発揮することが多い。
• Nyströmサンプリングラウンド(l)を増やすと誤差が減少し、サンプリングと訓練データのトレードオフを示す。