[論文レビュー] Convolutional Neural Operators for robust and accurate learning of PDEs

Bogdan Raonić, R. Molinaro+6 more|arXiv (Cornell University)|Feb 2, 2023

Neural Networks and Applications被引用数 37

ひとこと要約

要約: 本論文は Convolutional Neural Operators (CNOs) を導入する。CNN ベースの演算子学習フレームワークで、連続-離散対応を保ちつつ PDE 解法演算子を学習する普遍近似性と多様なマルチスケール PDE ベンチマークでの強力な実証性能を持つ。

ABSTRACT

Although very successfully used in conventional machine learning, convolution based neural network architectures -- believed to be inconsistent in function space -- have been largely ignored in the context of learning solution operators of PDEs. Here, we present novel adaptations for convolutional neural networks to demonstrate that they are indeed able to process functions as inputs and outputs. The resulting architecture, termed as convolutional neural operators (CNOs), is designed specifically to preserve its underlying continuous nature, even when implemented in a discretized form on a computer. We prove a universality theorem to show that CNOs can approximate operators arising in PDEs to desired accuracy. CNOs are tested on a novel suite of benchmarks, encompassing a diverse set of PDEs with possibly multi-scale solutions and are observed to significantly outperform baselines, paving the way for an alternative framework for robust and accurate operator learning. Our code is publicly available at https://github.com/bogdanraonic3/ConvolutionalNeuralOperator

研究の動機と目的

• データ駆動の代替手段で PDE 解法演算子を学習させ、クエリ・不確実性定量化・最適化の計算コストを削減する。
• エイリアシングを回避し連続性を保持するため bandlimited 関数へ写像する構造を保つ CNN アーキテクチャ（CNO）を提案する。
• 適切な条件下で任意の精度で PDE 演算子を近似できる universal approximation 定理を証明する。
• 線形、非線形、楕円、双曲、放物 PDE でマルチスケール解を含む代表的 PDE ベンチマーク（RPB）を用いて CNO を評価し、ベースラインと比較し、分布外一般化を評価する。

提案手法

• 帯域制限関数空間上での演算子学習を定義し、連続-離散等価性（CDE）を実現する。
• P lifting、畳み込み K_l、活性化関数 Sigma、帯域制限空間間の射影 Q を備えた修正版 Operator U-Net として CNO を具象化する。
• 活性化、アップ/ダウンサンプリング、ResNet 様ブロックが帯域制限を尊重し、エイリアシングを回避するとともにマルチスケール内容を保持する。
• CNO が Representation Equivalent Neural Operator（ReNO）であり、解像度不変な挙動とエイリアシングレスな性能を保証することを証明する。
• 任意の適切な PDE 演算子 G† に対して、境界付き入力上で任意の ε まで G† を近似する CNO G が存在することを証明する。

実験結果

リサーチクエスチョン

• RQ1 CNO は帯域制限空間内で広範な PDE クラスの解法演算子を任意の精度まで近似できるか。
• RQ2 CNO は表現と分解能不変性を満たし、離散化間のエイリアシングを回避できるか。
• RQ3 マルチスケール PDE ベンチマークで CNO は最先端の演算子学習器（FNO、DeepONet、GT）とどう比較されるか。
• RQ4 CNO は分布外入力に一般化し、解像度を跨いでも性能を維持できるか。

主な発見

• CNO は代表的 PDE ベンチマーク（RPB）において、分布内・分布外の両方のテストでベースラインを一貫して上回る（Allen-Cahn を除き、FNO が優勢）。
• CNO は FNO や U-Net とは異なり、解像度不変の挙動を達成し、連続-離散等価性を示す。
• CNO はエイリアシングが少なくデータ効率が高い有利なスペクトルを示し、標的誤差に到達するのに必要なサンプル数が少なく、同等の性能に対して学習が速い。
• CNO は Poisson、Wave、Transport、Navier-Stokes、Darcy、Euler 関連タスクで多スケール処理が強く、ベースラインに対して競争力があるか優れている。
• FNO はいくつかのタスクで強力だが、エイリアシングやリサンプリング時の不変性欠如を示すことがあり、CDE 保持設計の利点を強調している。
• この研究は公開コードと新しい代表的 PDE ベンチマークスイートを提供して、演算子学習手法をベンチマークする。