[논문 리뷰] ClimART: A Benchmark Dataset for Emulating Atmospheric Radiative Transfer in Weather and Climate Models

Salva Rühling Cachay, Venkatesh Ramesh외 3명|arXiv (Cornell University)|2021. 11. 29.

Meteorological Phenomena and Simulations인용 수 10

한 줄 요약

ClimART는 기후 모델 물리학의 기계학습(ML) 에뮬레이션을 가속화하기 위해 현재, 석기 시대, 향후 기후 조건에서 1000만 건이 넘는 대기 열복사 전달 샘플을 포함하는 대규모 공개 기준 데이터셋을 소개한다. 이 데이터셋은 ML 모델의 엄격한 평가를 가능하게 하며, 특히 극단적인 기후 조건에서 구조적 아키텍처인 GraphNets와 CNNs가 표준 MLP보다 훨씬 뛰어난 분포 외 일반화 성능을 보임을 드러내며, 향후 기후 조건에서 RMSE가 100 이상에서 약 30으로 감소함을 보여준다.

ABSTRACT

Numerical simulations of Earth's weather and climate require substantial amounts of computation. This has led to a growing interest in replacing subroutines that explicitly compute physical processes with approximate machine learning (ML) methods that are fast at inference time. Within weather and climate models, atmospheric radiative transfer (RT) calculations are especially expensive. This has made them a popular target for neural network-based emulators. However, prior work is hard to compare due to the lack of a comprehensive dataset and standardized best practices for ML benchmarking. To fill this gap, we build a large dataset, ClimART, with more than \\emph{10 million samples from present, pre-industrial, and future climate conditions}, based on the Canadian Earth System Model. ClimART poses several methodological challenges for the ML community, such as multiple out-of-distribution test sets, underlying domain physics, and a trade-off between accuracy and inference speed. We also present several novel baselines that indicate shortcomings of datasets and network architectures used in prior work. Download instructions, baselines, and code are available at: https://github.com/RolnickLab/climart

연구 동기 및 목표

• 기상 및 기후 모델링에서 ML 에뮬레이터를 평가하기 위한 표준화되고 종합적인 데이터셋의 부족을 해결하기 위해.
• 기후 조건의 다양성, 특히 석기 시대와 향후 기후와 같은 분포 외(OOD) 설정에서 ML 모델 간의 공정한 비교를 가능하게 하기 위해.
• 스케일링 가능하고 잘 문서화된 데이터셋, 코드, 기준 모델을 제공함으로써 ML 연구자들이 기후 과학에 기여할 수 있는 장벽을 낮추기 위해.
• 이전의 ML 모델과 데이터셋의 한계, 특히 극단적인 대기 조건에서의 일반화 및 물리적 일관성 측면에서의 문제점을 규명하기 위해.
• 기후 관련 과제에서 정확도-속도 트레이드오프와 물리 기반 설계를 강조함으로써 ML 분야의 방법론적 혁신을 촉진하기 위해.

제안 방법

• 데이터셋인 ClimART는 캐나다 기후 시스템 모델(CanESM)에서 유래되었으며, 현재 시대, 석기 시대, 향후 기후 조건에서의 대기 열복사 전달을 시뮬레이션하였다.
• 기후 조건에 따라 다양해지는 복사율 조건을 반영하기 위해 기체 농도, 온도, 압력, 지표면 반사율을 포함한 세부적인 대기 프로파일을 포함한 1000만 건 이상의 샘플이 포함되어 있다.
• 분포 내 및 분포 외 테스트 세트로 나누어진 데이터셋은 OOD 일반화 평가를 위해 역사적(1850–1852) 및 향후(2097–2099) 기후 상태를 포함한다.
• 표준화된 지표인 RMSE와 MBE를 사용하여, 업-웨일링 및 다운-웨일링 복사율에 대해 MLP, CNN, GCN, GraphNet 등의 다양한 ML 기준 모델을 훈련 및 평가하였다.
• CPU 및 GPU 구성에서 배치 크기가 8192인 경우, 실세계 구현 가능성을 평가하기 위해 추론 속도를 벤치마킹하였다.
• 기초 열복사 전달 방정식을 존중하는 손실 함수 및 모델 아키텍처를 통해 물리 기반 설계를 탐색하였다.

실험 결과

연구 질문

• RQ1 MLP, CNN, GraphNet 등 다양한 신경망 아키텍처가 석기 시대 및 향후 조건과 같은 분포 외 기후 상태로 일반화될 경우 어떻게 되는가?
• RQ2 특히 GPU 가속을 통해 기계학습 에뮬레이터의 추론 속도와 정확도 사이의 트레이드오프는 어떠한가?
• RQ3 CNN 및 GraphNet과 같은 구조적 모델이 대기 데이터의 공간적 및 물리적 의존성을 얼마나 잘 포착하는가?
• RQ4 물리 기반 신경망 구성 요소가 열복사 전달 에뮬레이션에서 일반화 및 물리적 타당성을 향상시킬 수 있는가?
• RQ5 모델 성능과 강건성은 순수한 하늘 조건과 극단적인 기체 농도 조건을 포함한 다양한 기후 제도에서 어떻게 변화하는가?

주요 결과

• MLP 모델은 향후 기후 OOD 데이터에서 심각한 성능 저하를 보이며, RMSE가 100 W/m²를 초과하지만, GraphNet 및 CNN 모델은 각각 약 30 W/m² 및 18 W/m²의 RMSE를 유지한다.
• GPU에서 GraphNet 모델은 비-MLP 모델 중에서 가장 빠른 추론 시간(1스냅샷당 0.1659초)을 기록하였으며, CPU에서 실행되는 물리 기반 RT 모델조차도 뛰어넘었다.
• GPU에서 MLP는 1스냅샷당 0.0016초의 추론 시간을 기록하였으며(배치 크기 8192), 물리 기반 RT 모델(4개 CPU에서 3.3666초)에 비해 약 2000배 빠른 속도를 기록하였다.
• CNN 및 GraphNet 모델은 MLP에 비해 분포 외 일반화 성능이著しく 뛰어나, 강건한 기후 모델링을 위해 아키텍처의 인덕티브 바이어스가 필수적임을 시사한다.
• 물리 기반 RT 모델은 16에서 64개 CPU로 확장할 때 수익 감소 현상을 보이며, 순차적 실행에서 하드웨어 병목 현상이 있음을 시사하지만, ML 모델은 배치 처리를 통해 효율적으로 확장된다.
• 데이터셋은 제한적이거나 단순화된 데이터(예: 아쿠아 플래닛 조건)로 훈련된 모델이 실제 대기 변동성에 일반화하지 못함을 드러내며, 종합적이고 물리적으로 현실적인 기준이 필요함을 강조한다.