[논문 리뷰] PDEBENCH: An Extensive Benchmark for Scientific Machine Learning

Makoto Takamoto, Timothy Praditia외 5명|arXiv (Cornell University)|2022. 10. 13.

Model Reduction and Neural Networks인용 수 56

한 줄 요약

PDEBench는 과학 ML을 위한 크고 확장 가능한 벤치마크 모음으로, 11개의 PDE, 대형 데이터셋, 기본 모델(FNO, U-Net, PINN), 그리고 물리-의식적 성능과 일반화 평가를 위한 새로운 지표를 제공합니다.

ABSTRACT

Machine learning-based modeling of physical systems has experienced increased interest in recent years. Despite some impressive progress, there is still a lack of benchmarks for Scientific ML that are easy to use but still challenging and representative of a wide range of problems. We introduce PDEBench, a benchmark suite of time-dependent simulation tasks based on Partial Differential Equations (PDEs). PDEBench comprises both code and data to benchmark the performance of novel machine learning models against both classical numerical simulations and machine learning baselines. Our proposed set of benchmark problems contribute the following unique features: (1) A much wider range of PDEs compared to existing benchmarks, ranging from relatively common examples to more realistic and difficult problems; (2) much larger ready-to-use datasets compared to prior work, comprising multiple simulation runs across a larger number of initial and boundary conditions and PDE parameters; (3) more extensible source codes with user-friendly APIs for data generation and baseline results with popular machine learning models (FNO, U-Net, PINN, Gradient-Based Inverse Method). PDEBench allows researchers to extend the benchmark freely for their own purposes using a standardized API and to compare the performance of new models to existing baseline methods. We also propose new evaluation metrics with the aim to provide a more holistic understanding of learning methods in the context of Scientific ML. With those metrics we identify tasks which are challenging for recent ML methods and propose these tasks as future challenges for the community. The code is available at https://github.com/pdebench/PDEBench.

연구 동기 및 목표

• 시간에 의존하는 다양한 PDE에 걸쳐 Scientific ML을 위한 포괄적이고 사용하기 쉬운 벤치마크를 제공한다.
• 사전 사용 가능한 데이터와 추가 데이터를 생성하기 위한 코드가 포함된 대형이고 다양한 데이터셋(전방 문제와 역문제)을 제공한다.
• 기준 모델(FNO, U-Net, 및 PINN)과 공정한 비교를 위한 표준화된 API를 확립한다.
• RMSE를 넘어 물리 법칙 보존 및 경계 동작을 포착하는 물리 인식 평가 지표를 도입한다.
• FAIR 데이터 원칙에 따라 커뮤니티 중심의 확장 벤치마크와 재현 가능한 실험을 장려한다.

제안 방법

• 이산화된 PDE에 대한 순전파 전파기를 정의하고 이산화된 순방향 연산자를 근사하는 대리 모델을 학습한다.
• 다양한 파라미터, 초기/경계 조건 및 해상도를 가진 11개의 PDE(1–3D)에 걸친 데이터셋을 제공한다.
• 기준 모델(FNO, U-Net, 및 Physics-Informed Neural Networks(PINN))을 구현하고 평가한다.
• RMSE, 정규화된 RMSE, 최대 오차 및 물리 중심 지표(보존량, 경계 및 푸리에-레짐 오차 등)를 포함한 지표 모음을 제안한다.
• DaRUS를 통한 DOI 포함 데이터 접근, 일관된 데이터 인터페이스, 구성 가능한 API(Hydra)를 통해 새 데이터를 생성하는 코드 제공.
• 학습된 순방향 대리모형을 사용하여 관측되지 않은 초기 조건이나 PDE 매개변수를 추론하는 역 문제를 탐구한다.

실험 결과

연구 질문

• RQ1 과학 ML 방법을 의미 있게 벤치마킹하기 위해 필요한 PDE와 문제 설정의 범위는 어느 정도인가?
• RQ2 실제 1–3D 설정에서 순방향 및 역 PDE 작업에 대해 인기 있는 ML 기준선(FNO, U-Net, PINN)은 어떻게 수행하는가?
• RQ3 표준 ML 지표(예: RMSE)가 물리적으로 일관된 성능을 충분히 반영하는가, 특히 충격파, 희소성 또는 고주파 특성 영역에서?
• RQ4 현 ML 대리 모형이 보이는 한계(예: 시간적 외삽, 고주파 오차)는 PDE 유형 및 매개변수에 따라 어떻게 달라지는가?
• RQ5 PDEBench가 새로운 PDE나 모델로 벤치마크를 확장하려는 연구자에게 공정하고 확장 가능한 비교 및 신속한 데이터 접근을 어떻게 가능하게 할 수 있는가?

주요 결과

PDE	N_d	Time	N_s	N_t	샘플 수
advection	1	yes	1,024	200	10,000
Burgers’	1	yes	1,024	200	10,000
diffusion-reaction	1	yes	1,024	200	10,000
diffusion-reaction	2	yes	128×128	100	1,000
diffusion-sorption	1	yes	1,024	100	10,000
compressible Navier-Stokes	1	yes	1,024	100	10,000
compressible Navier-Stokes	2	yes	512×512	21	1,000
compressible Navier-Stokes	3	yes	128×128×128	21	100
incompressible Navier-Stokes	2	yes	256×256	1000	1000
Darcy flow	2	–	128×128	–	10,000
shallow-water	2	yes	128×128	100	1,000

• FNO는 일반적으로 많은 PDE에서 최상의 전체 예측 정확도를 제공하고 보존량과 경계 동작을 잘 준수한다.
• FNO는 많은 문제에서 주파수 내용에 걸쳐 오차가 안정적으로 나타나지만, 강한 불연속이나 작은 확산이 있는 영역에서 고주파 오차(fRMSE가 높음)가 증가할 수 있다.
• U-Net의 자기회귀 학습은 불안정할 수 있으며, pushforward 기술은 안정성과 장기 예측 정확도를 향상시킨다.
• 훈련 단계 beyond의 시간적 외삽에서 ML 모델은 동역학을 신뢰성 있게 연장하는 데 실패하는 경향이 있어 장시간 거동 파악의 어려움을 시사한다.
• 가압성 나비스-스토크스 및 고해상도, 고차원 문제는 여전히 도전적이며 확산 계수, 레이놀즈 유사 수 등 PDE 매개변수에 따라 성능이 민감하다.
• PINN은 특정 작업에서 기대 이상으로 고주파 특성을 일부 다룰 수 있지만 메모리 제약으로 일부 2D/3D 실험이 제한된다.