[論文レビュー] Multiwavelet-based Operator Learning for Differential Equations

Gaurav Gupta, Xiongye Xiao+1 more|arXiv (Cornell University)|Sep 28, 2021

Image and Signal Denoising Methods参考文献 61被引用数 67

ひとこと要約

固定されたマルチウェーブレット基底へPDE演算子のカーネルを圧縮するマルチウェーブレットベースのニューラルオペレーターを導入し、KdV、Burgers、Darcy flow、Navier–Stokes 方程式に対して高い精度と解像度に依存しない特性を実現する。

ABSTRACT

The solution of a partial differential equation can be obtained by computing the inverse operator map between the input and the solution space. Towards this end, we introduce a \textit{multiwavelet-based neural operator learning scheme} that compresses the associated operator's kernel using fine-grained wavelets. By explicitly embedding the inverse multiwavelet filters, we learn the projection of the kernel onto fixed multiwavelet polynomial bases. The projected kernel is trained at multiple scales derived from using repeated computation of multiwavelet transform. This allows learning the complex dependencies at various scales and results in a resolution-independent scheme. Compare to the prior works, we exploit the fundamental properties of the operator's kernel which enable numerically efficient representation. We perform experiments on the Korteweg-de Vries (KdV) equation, Burgers' equation, Darcy Flow, and Navier-Stokes equation. Compared with the existing neural operator approaches, our model shows significantly higher accuracy and achieves state-of-the-art in a range of datasets. For the time-varying equations, the proposed method exhibits a ($2X-10X$) improvement ($0.0018$ ($0.0033$) relative $L2$ error for Burgers' (KdV) equation). By learning the mappings between function spaces, the proposed method has the ability to find the solution of a high-resolution input after learning from lower-resolution data.

研究の動機と目的

• 核の性質を利用してPDEオペレーターのデータ効率よい学習を動機づける。
• 固定基底へオペレーターのカーネルを疎化・射影するためのマルチウェーブレットベースの表現を開発する。
• マルチウェーブレット変換を活用したスケーラブルで解像度に依存しないニューラルオペレーターアーキテクチャを構築する。
• 1Dおよび2DのPDE、および異なる入力解像度に対して頑健性と一般化性能を示す。

提案手法

• 任意の基底に対処するため、非均一な測度を用いたマルチウェーブレット変換でカーネルをモデル化する。
• スケールをデカップリングしモデルの複雑性を低減する非標準のマルチウェーブレット表現を用いる。
• Decomposition (dec) と Reconstruction (rec) モジュールを備えた2部(MWT)アーキテクチャを実装する。
• 4つのニューラルネットワーク A、B、C、および T (barT) を訓練し、非標準カーネル項をスケール間で近似する。
• 固定マルチウェーブレットフィルタ H と G を活用してスケール間の前向き/後向き変換を実行する。
• 異なる入力サイズ間で学習済みカーネルを再利用して解像度非依存性を示す。

実験結果

リサーチクエスチョン

• RQ1 マルチウェーブレットベースのカーネル表現はPDEのデータ効率的で圧縮に適したオペレーター学習を提供できるか？
• RQ2 固定マルチウェーブレットフィルタは解像度を超えて一般化するスケール別学習を可能にするか？
• RQ3 標準的なPDEベンチマークでの最先端ニューロナルオペレーターと比較してMWTモデルの性能はどうか？
• RQ4 入力の揺らぎに対して頑健であり、より高次元の問題に適用可能か？
• RQ5 低解像度での学習が高解像度の出力へ一般化できるか？

主な発見

• MWT Leg および MWT Chb は KdV、Burgers、Darcy、Navier–Stokes のベンチマーク全体で最も低い相対L2誤差を達成し、FNO、MGNO、LNO、GNO を上回る。
• 時間変化方程式では、相対L2誤差が2倍〜10倍改善を示す（例：BurgersとKdvで0.0018対0.0033）。
• 入力揺動の強さに頑健で、低解像度の訓練データで機能しつつ高解像度へ一般化する。
• 固定マルチウェーブレットフィルタの使用は重要であり、ランダムフィルタは性能を著しく低下させる（MWT Rnd はほとんど機能しない）。
• このアプローチは準微分作用素の理論的特性を検証し、マルチウェーブレット領域でのカーネルの疎性を活用している。
• この方法は2D Darcy flowへ拡張され、粗い解像度で学習しつつ微細スケールの出力を予測できる；再訓練なしで高解像度予測の可能性を示す。