[論文レビュー] A comprehensive and fair comparison of two neural operators (with practical extensions) based on FAIR data

Lu Lu|arXiv (Cornell University)|Nov 9, 2021

Fluid Dynamics and Turbulent Flows参考文献 69被引用数 431

ひとこと要約

本論文は、科学的機械学習における非線形作用素の学習に関して、DeepONetとFourier Neural Operator (FNO)の包括的で公平な比較を提示している。実用的な拡張手法—POD-DeepONet、dFNO+、および特徴拡張—を導入し、特に複雑な幾何構造やノイズのあるデータにおいて精度と頑健性を向上させた。主な発見は、FNOはノイズに対して極めて感受性が高く（例：0.1%のノイズで誤差が10,000倍に増加）、一方DeepONetは頑健なため、FNOは不安定なマッピングを学習する可能性があると示唆している。

ABSTRACT

Neural operators can learn nonlinear mappings between function spaces and offer a new simulation paradigm for real-time prediction of complex dynamics for realistic diverse applications as well as for system identification in science and engineering. Herein, we investigate the performance of two neural operators, which have shown promising results so far, and we develop new practical extensions that will make them more accurate and robust and importantly more suitable for industrial-complexity applications. The first neural operator, DeepONet, was published in 2019 (Lu et al., 2019), and its original architecture was based on the universal approximation theorem of Chen & Chen (1995). The second one, named Fourier Neural Operator or FNO, was published in 2020, and it is based on parameterizing the integral kernel in the Fourier space. DeepONet is represented by a summation of products of neural networks (NNs), corresponding to the branch NN for the input function and the trunk NN for the output function; both NNs are general architectures, e.g., the branch NN can be replaced with a CNN or a ResNet. According to Kovachki et al. (2021), FNO in its continuous form can be viewed conceptually as a DeepONet with a specific architecture of the branch NN and a trunk NN represented by a trigonometric basis. In order to compare FNO with DeepONet computationally for realistic setups, we develop several extensions of FNO that can deal with complex geometric domains as well as mappings where the input and output function spaces are of different dimensions. We also develop an extended DeepONet with special features that provide inductive bias and accelerate training, and we present a faster implementation of DeepONet with cost comparable to the computational cost of FNO, which is based on the Fast Fourier Transform. Here we consider 16 different benchmarks to demonstrate the relative performance of the two neural operators, including instability wave analysis in hypersonic boundary layers, prediction of the vorticity field of a flapping airfoil, porous media simulations in complex-geometry domains, etc. We follow the guiding principles of FAIR (Findability, Accessibility, Interoperability, and Reusability) for scientific data management and stewardship. The performance of DeepONet and FNO is comparable for relatively simple settings, but for complex geometries the performance of FNO deteriorates greatly. We also compare theoretically the two neural operators and obtain similar error estimates for DeepONet and FNO under the same regularity assumptions.

研究の動機と目的

• 多様で産業的関連性の高いPDEベンチマークにおいて、DeepONetとFNOを体系的かつ公平に比較すること。
• FNOの複雑な幾何構造や入出力関数空間の次元が異なる場合の制限を克服するため、新しい拡張手法（dFNO+、gFNO+）を提案すること。
• PODに基づくトランクネットワークと特徴拡張を用いて、DeepONetの学習速度と精度を向上させること。
• ノイズのあるデータに対する頑健性と一般化性能を評価すること、特に測定不確実性を伴う現実世界のシナリオにおいて重点を置くこと。
• 同一の正則性仮定の下での理論的比較を行い、両モデルが同等の誤差推定を持つことを示すこと。

提案手法

• 複雑な幾何構造や異なる次元の関数空間間のマッピングを扱えるように、dFNO+およびgFNO+の拡張を提案した。
• 訓練データからの固有直交分解モードを用いてトランクネットワークを置き換えることで、POD-DeepONetを導入し、精度を向上させた。
• 誘導的バイアスを強化し収束を加速するために、DeepONetに特徴拡張を適用した。
• 高速フーリエ変換を用いた高速なDeepONet実装を開発し、FNOと同等の計算コストを達成した。
• 定常および非定常PDEにまたがる16の多様なベンチマーク（ハイパーソニック境界層、フラッピング翼型、多孔質媒体の流れなど）を用いて実験を行った。
• 理論的分析により、FNOの連続的形態が、三角関数基底と固定アーキテクチャを持つDeepONetの特殊ケースであることを確認した。

実験結果

リサーチクエスチョン

• RQ1 複雑な幾何構造とノイズのある入力データを伴う現実的な条件下で、DeepONetとFNOはどのように性能を発揮するか？
• RQ2 FNOは、次元が異なる関数空間間のマッピングおよび不規則な定義域を扱えるように拡張可能か？
• RQ3 DeepONetはFNOと比較して、高いレベルの入力ノイズ下でも頑健性を維持できるか？
• RQ4 同一の正則性仮定の下で、DeepONetとFNOの間で共有される理論的誤差境界は何か？
• RQ5 PODや特徴拡張のような実用的拡張は、一般化性能および学習効率を顕著に向上させられるか？

主な発見

• 0.1%のガウスノイズを伴う不安定波解析において、FNOの誤差は10,000倍に増加し、実用的でなくなる一方、DeepONetは性能劣化がほとんど見られなかった。
• 10個の訓練サンプルで非定常キャビティ流れを解析した際、POD-DeepONetは0.18±0.02%の最低誤差を達成し、他のすべての手法を上回った。
• 90個の訓練サンプルを用いた非定常キャビティ流れにおいて、dFNO+とPOD-DeepONetはそれぞれ1.51%および1.78%の相対L2誤差を達成し、特徴拡張を適用した。
• 特徴拡張を施したDeepONetは、わずか10個の訓練サンプルで非定常キャビティ流れにおいて2.24%の相対誤差を達成し、優れた一般化性能を示した。
• 理論的分析により、FNOの連続的形態が、三角関数基底と固定ブランチネットワークを持つDeepONetの特殊ケースであることが確認された。
• 滑らかで単純な設定では両モデルの精度が類似していたが、ノイズや複雑な幾何構造の状況ではDeepONetが優れた頑健性を示した。