[論文レビュー] Multiple Physics Pretraining for Physical Surrogate Models

Michael T. McCabe, Bruno Régaldo-Saint Blancard+12 more|arXiv (Cornell University)|Oct 4, 2023

Model Reduction and Neural Networks被引用数 16

ひとこと要約

MPPは単一のトランスフォーマを訓練し、複数の異種物理系のダイナミクスを共有空間に埋め込んで自己回帰的にモデル化し、物理ベースの代理モデルに対する事前学習で競争力を示し、低データ転送性能を優位にする。事前学習済みMPPモデルのファインチューニングは、新しい物理系に対するマルチステップ予測を、ゼロからの学習や動画基盤モデルを用いる場合と比べて改善する。

ABSTRACT

We introduce multiple physics pretraining (MPP), an autoregressive task-agnostic pretraining approach for physical surrogate modeling of spatiotemporal systems with transformers. In MPP, rather than training one model on a specific physical system, we train a backbone model to predict the dynamics of multiple heterogeneous physical systems simultaneously in order to learn features that are broadly useful across systems and facilitate transfer. In order to learn effectively in this setting, we introduce a shared embedding and normalization strategy that projects the fields of multiple systems into a shared embedding space. We validate the efficacy of our approach on both pretraining and downstream tasks over a broad fluid mechanics-oriented benchmark. We show that a single MPP-pretrained transformer is able to match or outperform task-specific baselines on all pretraining sub-tasks without the need for finetuning. For downstream tasks, we demonstrate that finetuning MPP-trained models results in more accurate predictions across multiple time-steps on systems with previously unseen physical components or higher dimensional systems compared to training from scratch or finetuning pretrained video foundation models. We open-source our code and model weights trained at multiple scales for reproducibility.

研究の動機と目的

• 異種系に跨る共有物理表現を学習するタスク非依存な事前学習フレームワークを開発する。
• 1つの事前学習済みモデルが、複数の事前学習サブタスクでタスク固有のベースラインと同等以上であることを示す。
• 低データ領域および次フレーム予測以外の下流タスクへの転移利得を示す。
• 流体力学における逆問題とパラメトリック推定のための事前学習表現の有用性を評価する。
• コミュニティの広範な採用を支援するためにコードと事前学習モデルを公開する。

提案手法

• 可逆的インスタンス正規化を用いて異種の物理場を共有埋め込み空間に埋め込む。
• 全軸注意機構を備えたAxial ViT (AViT) トランスフォーマーをバックボーンとし、時空データを効率的にモデル化する。
• タスク固有のファインチューニングなしに、複数の物理系に跨る次の時刻を自動回帰的に予測するように訓練する。
• システム間で異なるスケールに対処するため、正規化MSEを用いて多タスク損失のバランスを取る。
• 巻き戻し条件下で局所性を保持するよう、改変された相対位置エンコーディングで周期境界を扱う。
• マルチ解像度・マルチ物理バッチ間の確率的負荷均衡のために勾配蓄積を利用する。

実験結果

リサーチクエスチョン

• RQ1 大規模なトランスフォーマーは複数の物理系のダイナミクスを同時に学習できるか。
• RQ2 新しい物理系に対する自己回帰予測で、複数物理学の事前学習は単一タスクや動画プリトレーニングのベースラインよりファインチューニング上の利点を提供するか。
• RQ3 次フレーム予測を超える下流タスク（例：逆問題、パラメータ推定、 forcing identification）に対して事前学習表現は有用か。
• RQ4 事前学習済みモデルは低データ領域や異なる物理系（例：不可圧縮流と可压縮流）にどの程度転移できるか。

主な発見

モデル	パラメータ数	SWE NRNMSE	DiffRe2D NRNMSE	CNS M1.0 NRNMSE	CNS M0.1 NRNMSE
MPP-AViT-Ti	7.6M	0.0066	0.0168	0.0442	0.0312
UNet	7.7M	0.083-	0.84–	0.4725	1.6650
FNO	466K	0.0044	0.12–	0.1685	0.2425
PINN	8.5K †	0.017-	1.6—	—	—
ORCA-SWIN-B	88M	0.0060	0.82–	—	—
MPP-AViT-B	116M	0.0024	0.0106	0.0281	0.0172
MPP-AViT-S	29M	0.0039	0.0112	0.0319	0.0213
MPP-AViT-L	409M	0.0022	0.0098	0.0208	0.0147

• 1つのMPP事前学習済みトランスフォーマが、ファインチューニングなしで事前学習サブタスク全体においてタスク固有ベースラインと同等または上回る。
• MPPモデルは、規模が異なるベースラインと比べて競争力のあるまたは優れたNRMSEをSWE、DiffRe2D、CNS M1.0、CNS M0.1で達成。
• 低データ転送シナリオでは、不可圧縮から可圧縮への転送タスクで、ゼロからの学習やVideoMAEより大幅に優れている。
• 事前学習表現は不可圧縮NSでのforcing識別などの逆問題を有用にし、 forcing推定のRMSEをMPPが低減。
• MPPをスケールアップ（より大きなAViTバリアント）すると、誤差がさらに減少（例：SWE: 0.0066 から 0.0022; DiffRe2D: 0.0168 から 0.0098; CNS M1.0: 0.0442 から 0.0208; CNS M0.1: 0.0312 から 0.0147）。
• オープンソースのコードと事前学習モデルがコミュニティの実験用に提供されている。