[論文レビュー] Multi-fidelity wavelet neural operator with application to uncertainty quantification

Akshay Thakur, Tapas Tripura+1 more|arXiv (Cornell University)|Aug 11, 2022

Image Processing Techniques and Applications被引用数 14

ひとこと要約

本稿では、偏微分方程式（PDE）のスレーブモデル向上を目的として、大規模な低精度（LF）データと限られた高精度（HF）データを活用するマルチフィデリティ・ウェーブレットニューラルオペレータ（MF-WNO）を提案する。入力補完とリーマンベースの学習を組み合わせることで、HFオンリーモデルに比べて予測誤差が最大1桁低減され、複数のPDEベンチマーク（非定常および確率的PDEを含む）においてMF-DeepONetを上回る性能を発揮する。

ABSTRACT

Operator learning frameworks, because of their ability to learn nonlinear maps between two infinite dimensional functional spaces and utilization of neural networks in doing so, have recently emerged as one of the more pertinent areas in the field of applied machine learning. Although these frameworks are extremely capable when it comes to modeling complex phenomena, they require an extensive amount of data for successful training which is often not available or is too expensive. However, this issue can be alleviated with the use of multi-fidelity learning, where a model is trained by making use of a large amount of inexpensive low-fidelity data along with a small amount of expensive high-fidelity data. To this end, we develop a new framework based on the wavelet neural operator which is capable of learning from a multi-fidelity dataset. The developed model's excellent learning capabilities are demonstrated by solving different problems which require effective correlation learning between the two fidelities for surrogate construction. Furthermore, we also assess the application of the developed framework for uncertainty quantification. The results obtained from this work illustrate the excellent performance of the proposed framework.

研究の動機と目的

• 複雑なPDEの正確なニューラルオペレータモデルを学習するための高コストなデータを、豊富な低精度（LF）データと限られた高精度（HF）データを活用することで低減すること。
• 訓練に膨大なHFデータを必要とする単一フィデリティのニューラルオペレータの限界を克服すること。
• LFとHFデータ間の複雑な非線形相関を効率的かつスケーラブルに捉えるフレームワークを構築すること。
• ウェーブレットニューラルオペレータ（WNO）をマルチフィデリティ設定に拡張し、不規則な領域や非線形PDEを扱う能力を維持すること。
• 特に確率的および非定常PDEにおいて、低データ環境下でのフレームワークの耐性を実証すること。

提案手法

• 本手法は、高精度と低精度の予測値の差分を学習するリーマンオペレータ学習戦略を採用する。
• 入力補完を用い、高精度出力の粗いシミュレーション版を入力に追加することで、異なるフィデリティ間の特徴の整合性を高める。
• 低精度（LF）および高精度（HF）データそれぞれに対して別個のウェーブレットニューラルオペレータ（WNO）ネットワークを訓練し、その出力をリーマン接続によって統合する。
• 時間依存PDEに対しては、予測値を次の時間ステップの入力として使用する教師強制型の学習スキームを採用する。
• HFデータとLFデータの両方を用いてエンドツーエンドでモデルを訓練し、残差の平均二乗誤差（MSE）を最小化する。
• 本手法は、確定的および確率的PDEの両方、特に非定常アレン・カーン方程式や確率的熱方程式に適用可能である。

実験結果

リサーチクエスチョン

• RQ1 マルチフィデリティ・ウェーブレットニューラルオペレータは、PDEにおける低精度と高精度データ間の複雑な非線形相関を効果的に学習できるか？
• RQ2 予測精度とデータ効率の観点から、HFオンリーモデルのWNOおよびMF-DeepONetと比較して、MF-WNOはどのように性能を発揮するか？
• RQ3 本手法は、未観測の初期条件や不規則な領域への一般化においても高い精度を維持できるか？
• RQ4 特に確率的PDEにおいて、低データ環境下でも本フレームワークは耐性があり正確な性能を発揮するか？
• RQ5 入力補完とリーマン学習は、マルチフィデリティオペレータ学習における収束性と予測性能を顕著に向上させることができるか？

主な発見

• 非定常アレン・カーン方程式において、MF-WNOは全80トレジェクトリでテストMSE 2.9312 × 10⁻⁵を達成し、HFSM-WNOの1.3158 × 10⁻⁴と比較して約1桁低い誤差を実現した。
• 100の未観測初期条件において、MF-WNOはMSE 0.0271を達成したのに対し、HFSM-WNOは0.0779であった。これは、優れた一般化性能を示している。
• MF-WNOは、複雑な非線形性および非定常PDEを含む、すべてのテスト問題においてMF-DeepONetを上回った。
• 本手法は、非単調的または滑らかでない関係であっても、LFとHFデータ間の非線形相関を的確に捉えた。
• 確率的熱方程式において、MF-WNOは低データ環境下でも耐性と正確性を示し、不確実性評価タスクへの適性を裏付けた。
• t = 10 sにおける可視化比較では、MF-WNOの予測値が真値に非常に近づいており、HFSM-WNOは顕著なずれを示していた。