[논문 리뷰] ChaosBench: A Multi-Channel, Physics-Based Benchmark for Subseasonal-to-Seasonal Climate Prediction

Juan Nathaniel, Yongquan Qu외 5명|arXiv (Cornell University)|2024. 02. 01.

Meteorological Phenomena and SimulationsEarth and Planetary Sciences인용 수 3

한 줄 요약

ChaosBench는 45년간의 60개 변수 채널 관측과 네 개의 국립 기상청에서 제공하는 44일 예측을 포함한 대규모 다중 채널 물리 기반 기준을 제공하는 하위계절 예측(subseasonal-to-seasonal, S2S) 기후 예측을 위한 것입니다. 이 기준은 시각 기반 및 새로운 물리 기반 평가 지표를 사용하여 PanguWeather와 GraphCast와 같은 데이터 기반 모델을 평가하며, 단기 기상 예측에 최적화된 모델이 S2S 과제에서는 실패하고 기후 기반 예측 수준조차도 뒤지게 되는 것으로 드러났습니다.

ABSTRACT

Accurate prediction of climate in the subseasonal-to-seasonal scale is crucial for disaster preparedness and robust decision making amidst climate change. Yet, forecasting beyond the weather timescale is challenging because it deals with problems other than initial condition, including boundary interaction, butterfly effect, and our inherent lack of physical understanding. At present, existing benchmarks tend to have shorter forecasting range of up-to 15 days, do not include a wide range of operational baselines, and lack physics-based constraints for explainability. Thus, we propose ChaosBench, a challenging benchmark to extend the predictability range of data-driven weather emulators to S2S timescale. First, ChaosBench is comprised of variables beyond the typical surface-atmospheric ERA5 to also include ocean, ice, and land reanalysis products that span over 45 years to allow for full Earth system emulation that respects boundary conditions. We also propose physics-based, in addition to deterministic and probabilistic metrics, to ensure a physically-consistent ensemble that accounts for butterfly effect. Furthermore, we evaluate on a diverse set of physics-based forecasts from four national weather agencies as baselines to our data-driven counterpart such as ViT/ClimaX, PanguWeather, GraphCast, and FourCastNetV2. Overall, we find methods originally developed for weather-scale applications fail on S2S task: their performance simply collapse to an unskilled climatology. Nonetheless, we outline and demonstrate several strategies that can extend the predictability range of existing weather emulators, including the use of ensembles, robust control of error propagation, and the use of physics-informed models. Our benchmark, datasets, and instructions are available at https://leap-stc.github.io/ChaosBench.

연구 동기 및 목표

• 하위계절 예측(S2S) 기후 예측을 위한 종합적이고 장기적이며 물리 제약 조건이 있는 기준의 부족을 해결하기 위해.
• 45년 간의 데이터, 60개 변수 채널, 네 개의 국립 기상청에서 제공하는 44일 예측 수준의 대규모 다중 채널 데이터셋을 제공하기 위해.
• 연구자의 다양한 필요에 맞게 설계된 두 가지 독립적인 S2S 예측 과제—전체 동역학 예측과 희소 동역학 예측—을 설정하기 위해.
• 물리 기반 평가 지표를 시각 기반 지표와 함께 통합하여 물리적으로 일관되고 설명 가능한 모델 출력을 보장하기 위해.
• 최신 데이터 기반 모델(PanguWeather, FourCastNetV2, GraphCast, ClimaX)을 S2S 예측에 대해 평가하여 심각한 성능 격차를 드러내기 위해.

제안 방법

• 460만 프레임의 실제 관측 및 시뮬레이션 데이터를 사용하여 60개 변수 채널(예: 기온, 지면위력, 습도)에서 121×240 해상도의 고차원 비디오 회귀 과제를 구성합니다.
• 미국, 유럽, 영국, 아시아의 네 개 국립 기상청에서 제공하는 44일 예측 수준의 물리 기반 예측을 통합하여 데이터 기반 모델의 운영 기준으로 활용합니다.
• 스펙트럼 파wer 프로파일과 지연 오토에코더(Lagged AE) 분석과 같은 물리 기반 평가 지표를 도입하여 시간에 따른 물리적 일관성과 신호 유지 정도를 평가합니다.
• 두 가지 독립된 과제를 정의합니다: (1) 전체 동역학 예측은 48개의 목표 변수를 모두 예측하는 것으로, (2) 희소 동역학 예측은 핵심 변수의 일부 집합에 초점을 맞춥니다.
• 자기회귀적 및 직접 추론 방식을 모두 지원하여 모델의 일반화 능력과 장기 예측 안정성을 평가할 수 있도록 합니다.
• 표준 시각 기반 지표(RMSE 등)와 함께 새로운 물리 인지 지표를 사용하여 장기 예측에서 물리적으로 비합리적인 행동을 탐지할 수 있도록 대규모 평가를 가능하게 합니다.

실험 결과

연구 질문

• RQ1 최신 데이터 기반 모델은 기후 기반 예측 수준에 비해 장기 하위계절 예측(S2S)에서 어떻게 성능을 내는가?
• RQ2 기존 데이터 기반 모델은 44일 예측 수준 동안 고주파 대기 신호를 얼마나 잘 유지하는가? 물리 기반 예측과 비교해보면 어떠한가?
• RQ3 물리 기반 지표는 표준 시각 기반 지표가 간과할 수 있는 비물리적 열화 현상을 탐지할 수 있는가?
• RQ4 단기 기상 예측에 최적화된 모델이 S2S 과제에서 실패하는 이유는 무엇이며, 그 구조나 학습 과정에서 무엇이 빠져 있는가?
• RQ5 학습 과정에서 시간 정보와 물리 제약 조건을 통합할 경우 장기 예측 정확도와 스펙트럼 일관성에 어떤 영향을 미치는가?

주요 결과

• PanguWeather, FourCastNetV2, GraphCast, ClimaX와 같은 데이터 기반 모델은 장기 기후 평균에 비해 S2S 예측에서 상당히 열등한 성능을 보이며, 단기 동역학을 초월해 일반화하지 못하는 근본적인 실패를 보여줍니다.
• 고주파 스펙트럼 신호는 장기 예측에서 급격히 감쇠되며, 특히 자기회귀적 추론을 사용할 경우 t=44에서 구조적인 파워 스펙트럼을 상실하는 경향이 있습니다.
• 물리 기반 지표인 스펙트럼 파워 프로파일과 지연 오토에코더(Lagged AE) 분석은 데이터 기반 모델이 고주파 대기 변동성을 빈약하게 유지하고 있음을 드러내며, 저주파 신호는 비교적 안정된 편입니다.
• FNO 모델은 장기 롤아웃 동안 스펙트럼 프로파일에서 상대적 안정성을 보이며, 일부 아키텍처가 다른 것보다 물리적 신호 구조를 더 잘 유지하는 것으로 나타났습니다.
• 단기 기상 예측에 최적화된 모델는 S2S 시스템의 초기 조건과 경계 조건에 대한 이중 민감도를 포착하지 못하며, 이는 S2S 모델링에서 물리 기반 설계의 필요성을 강조합니다.
• 물리 기반 지표의 통합은 표준 RMSE나 픽셀 수준 지표만으로는 감지되지 않는 비물리적 행동—예를 들어 임의의 신호 증폭 또는 스펙트럼 누출—을 드러냅니다.