[論文レビュー] Wavelet neural operator: a neural operator for parametric partial differential equations

Tapas Tripura, Souvik Chakraborty|arXiv (Cornell University)|May 4, 2022

Meteorological Phenomena and Simulations被引用数 33

ひとこと要約

Wavelet Neural Operator (WNO) を提案します。WNO は無限次元関数空間間の写像を学習するウェーブレットベースのニューラルオペレーターで、パラメトリック偏微分方程式を解くための単一ショット予測を可能にします。Burgers、Darcy、Navier–Stokes、Allen–Cahn、wave advection の他、気候/デジタルツインアプリケーションで実証します。

ABSTRACT

With massive advancements in sensor technologies and Internet-of-things, we now have access to terabytes of historical data; however, there is a lack of clarity in how to best exploit the data to predict future events. One possible alternative in this context is to utilize operator learning algorithm that directly learn nonlinear mapping between two functional spaces; this facilitates real-time prediction of naturally arising complex evolutionary dynamics. In this work, we introduce a novel operator learning algorithm referred to as the Wavelet Neural Operator (WNO) that blends integral kernel with wavelet transformation. WNO harnesses the superiority of the wavelets in time-frequency localization of the functions and enables accurate tracking of patterns in spatial domain and effective learning of the functional mappings. Since the wavelets are localized in both time/space and frequency, WNO can provide high spatial and frequency resolution. This offers learning of the finer details of the parametric dependencies in the solution for complex problems. The efficacy and robustness of the proposed WNO are illustrated on a wide array of problems involving Burger's equation, Darcy flow, Navier-Stokes equation, Allen-Cahn equation, and Wave advection equation. Comparative study with respect to existing operator learning frameworks are presented. Finally, the proposed approach is used to build a digital twin capable of predicting Earth's air temperature based on available historical data.

研究の動機と目的

• 無限次元の関数空間間で写像を学習するオペレータを提案し、多様なPDEパラメータに対して単一ショット予測を可能にする。
• カーネル学習と時間-周波数局在性を組み合わせたウェーブレットベースのニューラルオペレーターを開発し、高い空間解像度と周波数解像度を実現する。
• WNO を多様なPDE（Burgers、Darcy、Navier–Stokes、Allen–Cahn、wave advection）で実証し、既存のニューラルオペレーターと比較する。
• WNO を用いて歴史データから地球の2m空気温度を予測するデジタルツインアプリケーションを示す。

提案手法

• 局所変換 P(a(x)) によって入力を高次元空間にリフトする。
• l回の反復で v_{j+1}(x) = g((K(a;φ)*v_j)(x) + W v_j(x)) を更新する。ここで K はニューラルネットワークでパラメータ化された積分カーネル。
• ウェーブレットカーネル積分を計算する：多段ウェーブレット分解を実行し、学習済みウェイトと畳み込み、元の空間へ逆変換する。
• 局所変換 Q(v_l(x)) を用いて解空間 u(x) に再マッピングする。
• D(a) と D(a, θ) の損失 L を Adam の標準ハイパーパラメータで最小化することで訓練する。

実験結果

リサーチクエスチョン

• RQ1 ウェーブレットベースのニューラルオペレータは、無限次元の関数空間間を写像する非線形オペレータを、ある族のPDEに対して学習できるか。
• RQ2 WNO は標準的なPDEベンチマークや climate-digital twin タスクにおいて、DeepONet、GNO、FNO、MWT と比較してどのように評価されるか。
• RQ3 ウェーブレットアプローチは離散化不変性を維持しつつ、不連続性や複雑なジオメトリの扱いを改善できるか。

主な発見

PDE	GNO	DeepONet	FNO	MWT	POD-DeepONet	dgFNO+	WNO
Burgers’ equation	~6.15 %	~2.15 %	~1.60 %	~0.19 %	~1.94 %	-	~1.75 %
Darcy (rectangular)	~3.46 %	~2.98 %	~1.08 %	~0.89 %	~2.38%	-	~0.84 %
Darcy (triangular)	-	~2.64 %	-	~0.87 %	~1.00 %	~7.82%	~0.77 %
Navier–Stokes equation	-	~1.78 %	~1.28 %	~0.63 %	~1.71 %	-	~0.31 %
Allen-Cahn	-	~17.7 %	~0.93 %	~4.84 %	-	-	~0.21 %
Wave-advection	-	~0.32 %	~47.7 %	~10.22 %	~0.40 %	~0.62 %	~0.62 %

• WNO は六つの問題で平均相対L2誤差が 0.21% から 1.75% の範囲を達成し、競合オペレーターと同等またはそれを上回ることが多い。
• Burgers’ において、WNO の誤差は 1.75% で、いくつかの比較で最良だが、MWT と FNO がいくつかの設定でやや優れる場合がある。
• 2D Darcy 流れ（長方形およびノッチ付き三角形）では、WNO が挙げられた方法の中で最小の予測誤差を示す。
• Navier–Stokes および Allen–Cahn 問題では、WNO は非常に低い誤差を達成し、Allen–Cahn では約0.21% にまで達する。
• WNO は 2D の wave advection や climate/weather forecasting タスクへ拡張可能で、地球温度のデジタルツイン（2°×2°）を含む週間予測誤差がほぼ1% 程度になる。