[논문 리뷰] The Well: a Large-Scale Collection of Diverse Physics Simulations for Machine Learning

Ruben Ohana, Michael T. McCabe외 25명|arXiv (Cornell University)|2024. 11. 30.

Scientific Computing and Data Management인용 수 5

한 줄 요약

Well은 15 TB 규모의 16개의 다양한 물리 시뮬레이션 데이터 세트를 제공하며, ML 벤치마킹을 위한 통합 PyTorch 인터페이스를 갖추고, 기초 결과는 여러 물리 도메인에서의 도전 과제를 보여준다.

ABSTRACT

Machine learning based surrogate models offer researchers powerful tools for accelerating simulation-based workflows. However, as standard datasets in this space often cover small classes of physical behavior, it can be difficult to evaluate the efficacy of new approaches. To address this gap, we introduce the Well: a large-scale collection of datasets containing numerical simulations of a wide variety of spatiotemporal physical systems. The Well draws from domain experts and numerical software developers to provide 15TB of data across 16 datasets covering diverse domains such as biological systems, fluid dynamics, acoustic scattering, as well as magneto-hydrodynamic simulations of extra-galactic fluids or supernova explosions. These datasets can be used individually or as part of a broader benchmark suite. To facilitate usage of the Well, we provide a unified PyTorch interface for training and evaluating models. We demonstrate the function of this library by introducing example baselines that highlight the new challenges posed by the complex dynamics of the Well. The code and data is available at https://github.com/PolymathicAI/the_well.

연구 동기 및 목표

• 물리 정보 기반 머신러닝 및 대리 모델링을 위한 크고 다양하며 접근 가능한 벤치마크 세트를 제공한다.
• 일관된 데이터 형식과 도구를 통해 여러 물리 도메인에서 ML 대리모의 평가를 가능하게 한다.
• 단기 및 장기 예측 정확도 평가를 위한 지표를 도입하고, 기본 모델 성능을 강조한다.
• 데이터 기반 솔버에서 물리적 제약, 경계 조건, 그리고 장기 안정성의 탐구를 장려한다.

제안 방법

• 다양한 도메인(예: 음향, MHD, 천체물리학)에서 시간적으로 축소된 시뮬레이션 스냅샷 15 TB에 이르는 16개 데이터 세트를 구성한다.
• 공유 사양을 갖춘 균일한 HDF5 형식으로 데이터를 저장하고 학습/평가를 위한 PyTorch 인터페이스를 제공한다.
• 간단한 3개의 베이스라인(FNO, TFNO, U-net, CNextU-net)을 표준화된 12시간 GPU 예산 하에 제공하여 현재 역량을 보여준다.
• 포괄적인 벤치마킹 도구와 지표(VRMSE, NRMSD 등) 및 규모와 필드별 분석을 제공하여 모델 성능을 계측한다.
• 타사 데이터 세트를 검증 유틸리티와 일관된 데이터 형식을 통해 포함할 수 있는 확장성을 제공한다.

Figure 1: Top to bottom row: snapshots at $t=\{0,\frac{T}{3},\frac{2T}{3},T\}$ of acoustic_scattering , active_matter and convective_envelope_rsg .

실험 결과

연구 질문

• RQ1 다양하고 대규모의 데이터 세트 수집이 물리 시뮬레이션 대체 모델의 평가 및 개발을 개선할 수 있는가?
• RQ2 다양한 PDE-주도 데이터셋에서 자가회귀 예측하에서 스펙트럴과 공간 기반 등 서로 다른 모델 클래스의 성능은 어떤가?
• RQ3 단순한 베이스라인의 한계는 복잡한 다물리, 다스케일 다이나믹스를 예측할 때 무엇인가?
• RQ4 벤치마크가 장기 예측에서의 안정성 및 물리적 제약 준수를 어떻게 포착할 수 있는가?

주요 결과

• 16개 데이터 세트의 다양성(15 TB)은 다양한 물리 도메인에서 벤치마킹 가능하게 한다.
• 베이스라인 결과는 일부 문제는 스펙트럴 방법(FNO/TFNO)이 더 유리하고 다른 문제는 U-Net 계열 아키텍처가 더 유리함을 보이며, 단일 모델이 모든 과제에서 우위를 차지하지는 않는다.
• AR 롤아웃은 한 단계 예측을 넘어서도 어려움이 남아 있으며, 장기 예측 성능은 한 단계 지표와 일치하지 않는 경우가 많다.
• 필드별 및 주파수 대역 분석에서 오차가 특정 필드(예: 압력)에서 집중되고 고주파 모드가 더 빨리 수렴하지 않는다는 것을 보여준다.
• 벤치마크에는 통합 PyTorch 인터페이스와 추가 데이터 세트를 포함하고 새로운 대리 모델을 평가하기 위한 확장 도구가 포함되어 있다.

Figure 2: Top to bottom row: snapshots at $t=\{0,\frac{T}{3},\frac{2T}{3},T\}$ of euler_multi_quadrants , gray_scott_reaction_diffusion , and helmholtz_staircase