[論文レビュー] Towards Foundation Models for Scientific Machine Learning: Characterizing Scaling and Transfer Behavior

Shashank Subramanian, Peter Harrington+5 more|arXiv (Cornell University)|Jun 1, 2023

Topic Modeling被引用数 14

ひとこと要約

この論文は、SciMLのニューラルオペレーターの事前学習と微調整を調査し、事前学習済みモデルがはるかに少ない下流データで正確な転移を達成できること、そしてモデルサイズを拡大するとPDEタスクに対する微調整の利得が向上することを示している。

ABSTRACT

Pre-trained machine learning (ML) models have shown great performance for a wide range of applications, in particular in natural language processing (NLP) and computer vision (CV). Here, we study how pre-training could be used for scientific machine learning (SciML) applications, specifically in the context of transfer learning. We study the transfer behavior of these models as (i) the pre-trained model size is scaled, (ii) the downstream training dataset size is scaled, (iii) the physics parameters are systematically pushed out of distribution, and (iv) how a single model pre-trained on a mixture of different physics problems can be adapted to various downstream applications. We find that-when fine-tuned appropriately-transfer learning can help reach desired accuracy levels with orders of magnitude fewer downstream examples (across different tasks that can even be out-of-distribution) than training from scratch, with consistent behavior across a wide range of downstream examples. We also find that fine-tuning these models yields more performance gains as model size increases, compared to training from scratch on new downstream tasks. These results hold for a broad range of PDE learning tasks. All in all, our results demonstrate the potential of the "pre-train and fine-tune" paradigm for SciML problems, demonstrating a path towards building SciML foundation models. We open-source our code for reproducibility.

研究の動機と目的

• 多様なPDE系を横断するニューラルオペレーターを用いたSciMLの転移学習を研究する枠組みを開発する。
• 下流データ量、モデルサイズ、物理パラメータがTL性能に与える影響を定量化する。
• 同時に複数のオペレーターでの事前学習と、インドメインおよびアウトオブドメイン設定におけるゼロショット/ few-shot 微調整の有効性を評価する。

提案手法

• さまざまなソースと係数を持つ大規模で多様なPDE問題の集合に対して、Fourier Neural Operator (FNO)を事前学習する。
• 広い入力値範囲に対処するため、インスタンス毎の正規化を組み込む。
• 下流タスクに対して、ゼロショットまたはfew-shot学習を用いて事前学習モデルを微調整し、初期状態から訓練する場合と比較する。
• 埋め込み次元とフーリエモードを調整してモデルサイズを変化させ、スケーリング効果を研究する。
• 係数とソースを入力として含めることで、異なる物理現象や複数のオペレーター間の転送を評価する。

実験結果

リサーチクエスチョン

• RQ1 下流データセットのサイズがニューラルオペレーターの転移学習性能に与える影響は何か？
• RQ2 モデルパラメータのスケールは、ファインチューニングの利得を初期訓練と比較してどのように影響するか？
• RQ3 下流の物理が事前学習の物理とずれる（OOD一般化）とき、転移学習はどのように振る舞うか？
• RQ4 複数のPDEオペレーターで事前学習した単一のモデルが、異なるオペレーターにまたがる新しいPDEタスクへ効果的に転移できるか？

主な発見

• 多様なコーパスでの事前学習と微調整を行うと、下流データが限られている場合に特に、初期訓練から訓練する場合よりも顕著に優れた性能を示す。
• モデル容量が増大するにつれて、微調整による利得は初期訓練と比較して大きくなる。
• 適度なOODシフト下でも、few-shot設定で転移学習は依然として有利であり、シフトが大きくなるか下流データが豊富になると利得は減少する。
• 複数のオペレーターで事前学習した単一のモデルは、下流タスク全体で転移利得を維持し、SciMLの基盤モデル様のアプローチを可能にする。