[論文レビュー] The Well: a Large-Scale Collection of Diverse Physics Simulations for Machine Learning

Ruben Ohana, Michael T. McCabe+25 more|arXiv (Cornell University)|Nov 30, 2024

Scientific Computing and Data Management被引用数 5

ひとこと要約

The Well は、MLベンチマーク用の統一 PyTorch インターフェースを備えた、16の多様な物理シミュレーションデータセットから成る15 TBのコレクションを提供します。ベースライン結果は、複数の物理ドメインにわたる課題を示しています。

ABSTRACT

Machine learning based surrogate models offer researchers powerful tools for accelerating simulation-based workflows. However, as standard datasets in this space often cover small classes of physical behavior, it can be difficult to evaluate the efficacy of new approaches. To address this gap, we introduce the Well: a large-scale collection of datasets containing numerical simulations of a wide variety of spatiotemporal physical systems. The Well draws from domain experts and numerical software developers to provide 15TB of data across 16 datasets covering diverse domains such as biological systems, fluid dynamics, acoustic scattering, as well as magneto-hydrodynamic simulations of extra-galactic fluids or supernova explosions. These datasets can be used individually or as part of a broader benchmark suite. To facilitate usage of the Well, we provide a unified PyTorch interface for training and evaluating models. We demonstrate the function of this library by introducing example baselines that highlight the new challenges posed by the complex dynamics of the Well. The code and data is available at https://github.com/PolymathicAI/the_well.

研究の動機と目的

• 物理-informed machine learningと surrogate modeling のための大規模で多様かつアクセスしやすいベンチマークスイートを提供する。
• 複数の物理ドメインにわたって一貫したデータフォーマットとツールを用いて ML surrogate の評価を可能にする。
• 短期および長期の予測精度を評価するためのベースラインモデルの性能を強調し、指標を導入する。
• データ駆動ソルバーにおける物理的制約、境界条件、長期的安定性の探索を促す。

提案手法

• 様々なドメイン（例： acoustics、MHD、astrophysics など）にわたる15 TBの時系列的に粗さを抑えたシミュレーションスナップショットを含む16データセットを組み立てる。
• データを統一された仕様の HDF5 に格納し、トレーニング/評価のための PyTorch インターフェースを提供する。
• 現状の能力を示すために、標準化された12時間の GPU 予算の下で3つのシンプルなベースライン（FNO、TFNO、U-net、CNextU-net）を提供する。
• ベンチマーキングツールと指標（例：VRMSE、NRMSD）を網羅的に提供し、スケールとフィールドを横断してモデル性能を評価できるようにする。
• 検証ユーティリティと一貫したデータ形式を通じて、サードパーティデータセットを組み込む拡張性を含める。

Figure 1: Top to bottom row: snapshots at $t=\{0,\frac{T}{3},\frac{2T}{3},T\}$ of acoustic_scattering , active_matter and convective_envelope_rsg .

実験結果

リサーチクエスチョン

• RQ1 多様で大規模なデータセットのコレクションは、物理 surrogate モデルの評価と開発を改善できるか。
• RQ2 autoregressive 予測の下で、スペクトル系と空間系の異なるモデルクラスは、様々な PDE 主導のデータセットでどのように性能を発揮するか。
• RQ3 単純なベースラインが、複雑な多物理・多スケールダイナミクスの予測で抱える限界は何か。
• RQ4 ベンチマークは長距離予測における安定性と物理的制約の遵守をどのように捉えるべきか。

主な発見

• 多様な16データセットコレクション（15 TB）は、複数の物理ドメインにわたるベンチマークを可能にする。
• ベースラインの結果は、一部の問題でスペクトル法（FNO/TFNO）が有利で、他の問題で U-Net ライクなアーキテクチャが有利になるという分布を示し、単一のモデルがすべてのタスクで優位にはならない。
• AR ロールアウトは1ステップ予測を超えて難しく、長期的な性能はしばしば1ステップ指標と一致しない。
• フィールドごとおよび周波数ビン分析は、誤差が特定のフィールド（例：圧力）に集中し、高周波モードがより早く発散することを示す。
• このベンチマークには統一された PyTorch インターフェースと、新しいサロゲートモデルを評価するための追加データセットを組み込む拡張可能なツールが含まれる。

Figure 2: Top to bottom row: snapshots at $t=\{0,\frac{T}{3},\frac{2T}{3},T\}$ of euler_multi_quadrants , gray_scott_reaction_diffusion , and helmholtz_staircase