[論文レビュー] PDEBENCH: An Extensive Benchmark for Scientific Machine Learning

Makoto Takamoto, Timothy Praditia+5 more|arXiv (Cornell University)|Oct 13, 2022

Model Reduction and Neural Networks被引用数 56

ひとこと要約

PDEBenchは、11個のPDE、巨大なデータセット、ベースラインモデル（FNO、U-Net、PINN）、および物理情報を備えた性能と一般化を評価する新しい評価指標を備えた、科学機械学習のための大規模で拡張可能なベンチマークを提供します。

ABSTRACT

Machine learning-based modeling of physical systems has experienced increased interest in recent years. Despite some impressive progress, there is still a lack of benchmarks for Scientific ML that are easy to use but still challenging and representative of a wide range of problems. We introduce PDEBench, a benchmark suite of time-dependent simulation tasks based on Partial Differential Equations (PDEs). PDEBench comprises both code and data to benchmark the performance of novel machine learning models against both classical numerical simulations and machine learning baselines. Our proposed set of benchmark problems contribute the following unique features: (1) A much wider range of PDEs compared to existing benchmarks, ranging from relatively common examples to more realistic and difficult problems; (2) much larger ready-to-use datasets compared to prior work, comprising multiple simulation runs across a larger number of initial and boundary conditions and PDE parameters; (3) more extensible source codes with user-friendly APIs for data generation and baseline results with popular machine learning models (FNO, U-Net, PINN, Gradient-Based Inverse Method). PDEBench allows researchers to extend the benchmark freely for their own purposes using a standardized API and to compare the performance of new models to existing baseline methods. We also propose new evaluation metrics with the aim to provide a more holistic understanding of learning methods in the context of Scientific ML. With those metrics we identify tasks which are challenging for recent ML methods and propose these tasks as future challenges for the community. The code is available at https://github.com/pdebench/PDEBench.

研究の動機と目的

• 時間依存性の高いPDEの広範な範囲にわたって、科学機械学習のための包括的で使いやすいベンチマークを提供する。
• すぐに使用できるデータと追加データ生成用コードを含む、前方および逆問題を含む大規模で多様なデータセットを提供する。
• FNO、U-Net、PINNをベースラインモデルとして確立し、公正な比較のための標準化APIを提供する。
• RMSEを超える物理認識評価指標を導入し、保存則や境界挙動を捉える。
• FAIRデータ原則に基づく、コミュニティによる拡張ベンチマークと再現可能な実験を促進する。

提案手法

• 離散化されたPDEの前方伝搬子を定義し、離散化された前方作用素を近似する代理モデルを学習する。
• パラメータ、初期/境界条件、分解能を変えた11のPDE（1–3D）にわたるデータセットを提供する。
• ベースラインモデルとして Fourier Neural Operator (FNO)、U-Net、および Physics-Informed Neural Networks (PINN) を実装・評価する。
• RMSE、正規化RMSE、最大誤差、さらには保存量・境界・フーリエ領域誤差などの物理中心的指標を含む指標群を提案する。
• ウェブ DaRUSを介したDOIsによるデータアクセス、統一データインターフェース、構成可能なAPI(Hydra)で新しいデータを生成するコードを提供する。
• 学習済み前方代理を用いて観測されていない初期条件やPDEパラメータを推定する逆問題を探る。

実験結果

リサーチクエスチョン

• RQ1 科学機械学習手法を意味のあるようにベンチマークするには、PDEと問題設定の幅はどれくらい必要か。
• RQ2 現実的な1–3D設定で、FNO、U-Net、PINNといった一般的なMLベースラインは、前方および逆PDEタスクでどのように性能を示すか。
• RQ3 標準的なML指標（e.g., RMSE）は、特にショック、スパース性、高周波成分の領域において、物理的一貫した性能を適切に反映しているか。
• RQ4 現在のML代理モデルが示す限界（e.g., 時間外挙、高周波数誤差）は何か、そしてこれらはPDEの型とパラメータにどう依存するか。
• RQ5 PDEBenchは、公平で拡張性のある比較と研究者が新しいPDEやモデルを追加するための迅速なデータアクセスを促進できるか。

主な発見

PDE	N_d	Time	N_s	N_t	Number of samples
advection	1	yes	1,024	200	10,000
Burgers’	1	yes	1,024	200	10,000
diffusion-reaction	1	yes	1,024	200	10,000
diffusion-reaction	2	yes	128×128	100	1,000
diffusion-sorption	1	yes	1,024	100	10,000
compressible Navier-Stokes	1	yes	1,024	100	10,000
compressible Navier-Stokes	2	yes	512×512	21	1,000
compressible Navier-Stokes	3	yes	128×128×128	21	100
incompressible Navier-Stokes	2	yes	256×256	1000	1000
Darcy flow	2	–	128×128	–	10,000
shallow-water	2	yes	128×128	100	1,000

• FNOは、多くのPDEにおいて総じて最良の予測精度を提供し、保存量と境界挙動をよく尊重する。
• FNOは多くの問題で周波数成分に対して安定した誤差を示すが、強い不連続性や拡散が小さい領域では高周波の誤差（fRMSE高）が上昇することがある。
• U-Netの自己回帰訓練は不安定になり得る；pushforwardトリックは安定性と長時間精度を向上させる。
• トレーニングステップを超えた時間的外挿では、MLモデルはダイナミクスを信頼性高く拡張するのが難しく、長時間挙動の捉え方に課題がある。
• 可Compressible Navier–Stokesおよび高解像度・高次元の問題は依然として難しく、拡散係数やレイノルズ数様のパラメータに性能が影響される。
• PINNは特定のタスクで高周波的特徴を予想以上に扱えることがあるが、メモリ制約により一部の2D/3D実験は制限される。