[論文レビュー] Neural Operators with Localized Integral and Differential Kernels

Miguel Liu-Schiaffini, Julius Berner+4 more|arXiv (Cornell University)|Feb 26, 2024

Neural Networks and Applications被引用数 10

ひとこと要約

本論文は二つの局所的ニューラルオペレータ層——微分カーネルと局所積分カーネル—を提案し、フーリエニューラルオペレータを補完。 Darcy流、Navier–Stokes、球面浅水問題で精度向上を実現しつつ、多解像度適用性を維持。

ABSTRACT

Neural operators learn mappings between function spaces, which is practical for learning solution operators of PDEs and other scientific modeling applications. Among them, the Fourier neural operator (FNO) is a popular architecture that performs global convolutions in the Fourier space. However, such global operations are often prone to over-smoothing and may fail to capture local details. In contrast, convolutional neural networks (CNN) can capture local features but are limited to training and inference at a single resolution. In this work, we present a principled approach to operator learning that can capture local features under two frameworks by learning differential operators and integral operators with locally supported kernels. Specifically, inspired by stencil methods, we prove that we obtain differential operators under an appropriate scaling of the kernel values of CNNs. To obtain local integral operators, we utilize suitable basis representations for the kernels based on discrete-continuous convolutions. Both these approaches preserve the properties of operator learning and, hence, the ability to predict at any resolution. Adding our layers to FNOs significantly improves their performance, reducing the relative L2-error by 34-72% in our experiments, which include a turbulent 2D Navier-Stokes and the spherical shallow water equations.

研究の動機と目的

• ニューラルオペレータの局所的帰納バイアスの必要性を動機付け、局所的PDEダイナミクスをよりよく捉える。
• 第一階微分層と局所積分カーネル層の二つの局所オペレータ層を導入。
• これらの層が連続的な局所オペレータへ収束し、一般のメッシュ・幾何に対して動作することを保証。
• 局所層をFNO/SFNOアーキテクチャと統合し、複数のPDEベンチマークで性能向上を示す。
• 局所とグローバルオペレータを組み合わせると、ベンチマーク全体で相対L2誤差を大きく低減できることを示す。

提案手法

• グリッド幅h -> 0のとき拡大縮小した畳み込みカーネルを中心化・再スケーリングして微分演算子へ収束させる第一階微分層を導出。
• 離散-連続(DISCO)畳み込みを介して局所受容野を解像度を跨いで固定に保ち、一般幾何を可能にする局所積分カーネル層を導入。
• Lie群や多様体（例: 球面）上の局所的にサポートされたカーネルを trainable basis でパラメータ化するためにDISCO畳み込みを使用。
• 提案する局所層を既存のフーリエニューラルオペレータ(FNO)または球面FNO(SFNO)と、オペレータ層の追加分岐として組み込む。
• 三つのPDE問題（Darcy flow、トーラス上のNavier–Stokes、球面浅水）を評価し、U-Net、FNO、SFNOおよびその派生と比較。

実験結果

リサーチクエスチョン

• RQ1 ニューラルオペレータはダウンサンプリングなしに局所PDEオペレーターを表現でき、解像度を跨いで一般化できるか？
• RQ2 局所的な微分・積分カーネルは局所支配PDEに対するFNO/SFNOの精度を向上させるか？
• RQ3 グローバル（Fourier）とローカル（微分・積分）カーネルの組み合わせは平面・球面幾何の間でどのように性能を出すか？
• RQ4 複数のベンチマークで提案局所層をFNO/SFNOに組み込んだ場合の定量的な利得はどれくらいか？

主な発見

モデル	パラメータ	相対L2誤差	// レイヤ数	// モード数	埋め込み	// パラメータ	1ステップ	5ステップ
U-Net	17	-	18	2.850e6	1.380e-2	-	-	-
FNO	4	20	41	2.715e6	5.867e-2	-	-	-
FNO + diff. kernel (ours)	4	12	65	2.638e6	7.357e-3	-	-	-
FNO + local integral kernel (ours)	4	20	40	2.617e6	6.034e-2	-	-	-
FNO + local integral + diff. kernel (ours)	4	12	64	2.639e6	9.032e-3	-	-	-
U-Net	17	-	56	2.758e7	1.674e-1	-	-	-
FNO	4	40	65	2.711e7	1.381e-1	-	-	-
FNO + diff. kernel (ours)	4	40	65	2.726e7	1.073e-1	-	-	-
FNO + local integral kernel (ours)	4	20	129	2.716e7	1.110e-1	-	-	-
FNO + local integral + diff. kernel (ours)	4	20	127	2.691e7	9.022e-2	-	-	-
U-Net	17	-	32	2.898e6	1.341e-3	-	-	-
Spherical U-Net (with local integral kernel)	17	-	32	1.639e6	6.160e-4	3.265e-3	-	-
SFNO	4	128	32	1.066e6	9.220e-4	3.185e-3	-	-
SFNO + local integral kernel (ours)	4	128	31	1.019e6	2.624e-4	5.392e-4	-	-

• 局所的微分・または局所積分カーネルを用いたFNO/SFNOの拡張は、全てのテスト問題で相対L2誤差を顕著に低減する。
• 最良の性能は、3つの成分（グローバルFNO、微分、局所積分カーネル）を全て組み合わせることで得られることが多い。
• Darcy flowは微分カーネルと比較してFNO単独より最大87%低い相対L2誤差を示す。
• Navier–Stokesと球面浅水は顕著な改善を示し、SFNOベースラインに対して最大72%の削減。
• 局所的帰納バイアスは細かなスケールを捉え、多解像度適用性をダウンサンプリングなしに維持するのに役立つ。