[論文レビュー] A foundational neural operator that continuously learns without forgetting

Tapas Tripura, Souvik Chakraborty|arXiv (Cornell University)|Oct 29, 2023

Neural Networks and Applications被引用数 5

ひとこと要約

本稿では、災害的忘却を伴わずに、パラメトリックPDEの解作用素を継続的に学習できる科学計算のための基盤モデルであるニューラルコンビナトリアルウェーブレットニューラルオペレーター（NCWNO）を紹介する。ゲート付き局所ウェーブレットエキスパートとメモリベースのアンサンブルメカニズムを組み合わせることで、最小限のファインチューニングで新しいPDEに迅速に適応でき、多様な物理系にわたって優れた汎化性能と正の転送を達成する。

ABSTRACT

Machine learning has witnessed substantial growth, leading to the development of advanced artificial intelligence models crafted to address a wide range of real-world challenges spanning various domains, such as computer vision, natural language processing, and scientific computing. Nevertheless, the creation of custom models for each new task remains a resource-intensive undertaking, demanding considerable computational time and memory resources. In this study, we introduce the concept of the Neural Combinatorial Wavelet Neural Operator (NCWNO) as a foundational model for scientific computing. This model is specifically designed to excel in learning from a diverse spectrum of physics and continuously adapt to the solution operators associated with parametric partial differential equations (PDEs). The NCWNO leverages a gated structure that employs local wavelet experts to acquire shared features across multiple physical systems, complemented by a memory-based ensembling approach among these local wavelet experts. This combination enables rapid adaptation to new challenges. The proposed foundational model offers two key advantages: (i) it can simultaneously learn solution operators for multiple parametric PDEs, and (ii) it can swiftly generalize to new parametric PDEs with minimal fine-tuning. The proposed NCWNO is the first foundational operator learning algorithm distinguished by its (i) robustness against catastrophic forgetting, (ii) the maintenance of positive transfer for new parametric PDEs, and (iii) the facilitation of knowledge transfer across dissimilar tasks. Through an extensive set of benchmark examples, we demonstrate that the NCWNO can outperform task-specific baseline operator learning frameworks with minimal hyperparameter tuning at the prediction stage. We also show that with minimal fine-tuning, the NCWNO performs accurate combinatorial learning of new parametric PDEs.

研究の動機と目的

• 科学計算におけるパラメトリックPDEのためのタスク特化型モデルの高い計算コストと転送可能性の欠如に対処すること。
• 多様なPDEから学習でき、再訓練を最小限に抑えて未観測の新しいパラメトリックPDEに汎化可能な基盤モデルの開発。
• 科学機械学習の応用で一般的な継続的学習の場面における災害的忘却の克服。
• 共有特徴学習とメモリ最適化アンサンブルを介して、異なる物理系間で正の知識転送を実現すること。
• 組み合わせ学習と転送学習を支援する基盤モデルを導入することで、科学機械学習分野における新しいパラダイムを確立すること。

提案手法

• NCWNOは、複数の物理系にまたがる共有特徴を抽出するために、動的に選択・統合される局所ウェーブレットエキスパートを備えたゲートアーキテクチャを採用する。
• 各局所ウェーブレットエキスパートはウェーブレット変換された関数空間で動作し、パラメトリックPDEの解作用素の多スケール表現を可能にする。
• 記憶ベースのアンサンブルメカニズムにより、以前に学習したPDEからの知識を保存・取得し、継続的学習中に災害的忘却を防止する。
• 複数のPDEを同時に学習するための組み合わせ学習戦略を採用することで、インダクティブバイアスの転送を促進し、汎化性能を向上させる。
• 共有トランクネットワークとタスク特化型ブランチネットワークを統合することで、ファインチューニングによる新しいPDEへの効率的適応を可能にする。
• 学習率スケジューリングと重み減衰を用いた適応的最適化を採用することで、多様なPDEの種類や次元にわたる学習の安定化を図る。

実験結果

リサーチクエスチョン

• RQ1 1つのニューラルオペレーター・モデルが、複数の多様なパラメトリックPDEの解作用素を学習しつつ、以前に学習したタスクの性能を維持できるか？
• RQ2 NCWNOは、最小限のファインチューニングで、以前に見たことのない新しいパラメトリックPDEにどの程度効果的に汎化できるか？
• RQ3 記憶ベースのアンサンブルメカニズムは、科学機械学習における継続的学習の場面で、災害的忘却をどの程度効果的に防止できるか？
• RQ4 標準的なニューラルオペレーター・アーキテクチャと比較して、ウェーブレットベースの局所エキスパートの使用が、特徴表現と汎化性能を向上させるか？
• RQ5 ナビエ-ストークス方程式とダルシー流動といった、異なる力学的性質や空間的構造を持つ物理系間でも、NCWNOは正の転送を達成できるか？

主な発見

• NCWNOは、推論時のハイパーパrameterチューニングを最小限に抑えても、すべてのベンチマークPDEでタスク特化型ベースラインのオペレーター学習フレームワークを上回る性能を発揮した。
• わずか100～500エポックのファインチューニングで、新しいパラメトリックPDEの正確な組み合わせ学習が可能であり、迅速な適応を示した。
• 継続的学習の設定下でも、以前に学習したPDEの性能を高い水準で維持し、災害的忘却に対する頑健性を示した。
• 記憶ベースのアンサンブルメカニズムにより、新しいPDEを学習することで古いPDEの性能が向上する正の転送が実現され、標準モデルでは一般的な負の転送とは対照的であった。
• 1Dおよび2Dのバーガース方程式、アレン＝キャーン方程式、クルマト＝シヴァシン方程式、ダルシー流動、ナビエ-ストークス方程式、ナグモ方程式を含む多様なPDEにわたり、最先端の汎化性能を達成した。
• ウェーブレットベースのエキスパートの使用により、正確なPDE解の近似に不可欠な多スケール特徴を捉える優れた表現学習が実現した。