[논문 리뷰] AI Foundation Models for Weather and Climate: Applications, Design, and Implementation

S. Karthik Mukkavilli, Daniel Civitarese외 13명|arXiv (Cornell University)|2023. 09. 19.

Meteorological Phenomena and Simulations인용 수 14

한 줄 요약

논문은 날씨와 기후를 위한 AI 기본 모델의 부상과정을 조사하며, 일반화 가능한 날씨 기본 모델을 향한 응용, 설계 선택, 구현 고려사항을 제시한다.

ABSTRACT

Machine learning and deep learning methods have been widely explored in understanding the chaotic behavior of the atmosphere and furthering weather forecasting. There has been increasing interest from technology companies, government institutions, and meteorological agencies in building digital twins of the Earth. Recent approaches using transformers, physics-informed machine learning, and graph neural networks have demonstrated state-of-the-art performance on relatively narrow spatiotemporal scales and specific tasks. With the recent success of generative artificial intelligence (AI) using pre-trained transformers for language modeling and vision with prompt engineering and fine-tuning, we are now moving towards generalizable AI. In particular, we are witnessing the rise of AI foundation models that can perform competitively on multiple domain-specific downstream tasks. Despite this progress, we are still in the nascent stages of a generalizable AI model for global Earth system models, regional climate models, and mesoscale weather models. Here, we review current state-of-the-art AI approaches, primarily from transformer and operator learning literature in the context of meteorology. We provide our perspective on criteria for success towards a family of foundation models for nowcasting and forecasting weather and climate predictions. We also discuss how such models can perform competitively on downstream tasks such as downscaling (super-resolution), identifying conditions conducive to the occurrence of wildfires, and predicting consequential meteorological phenomena across various spatiotemporal scales such as hurricanes and atmospheric rivers. In particular, we examine current AI methodologies and contend they have matured enough to design and implement a weather foundation model.

연구 동기 및 목표

• 글로벌 및 지역의 날씨와 기후 문제에 대한 기반 모델 개발의 필요성을 자극한다.
• meteorology에서의 최첨단 AI 접근법(트랜스포머, 그래프 네트워크, 물리정보 ML)을 요약한다.
• 날씨 기본 모델의 설계 기준, 데이터 요구사항, 평가 고려사항을 논의한다.
• 기본 모델이 탁월할 수 있는 하류 작업을 식별한다(초단기 예보(nowcasting), 다운스케일링, 파라미터화, 데이터 동화).
• 날씨 기본 모델 계열의 성공 로드맵과 기준을 개략한다.

제안 방법

• 기상학의 최첨단 AI 방법들(트랜스포머, 그래프 신경망, 연산자 학습)을 검토한다.
• 하류 작업을 위한 인코더–디코더 기본 모델 구조와 파인튜닝 패러다임을 구상한다.
• 날씨/기후 맥락에서 자기지도 학습의 사전학습 데이터 필요성과 손실 함수 고려를 논의한다.
• 백본(트랜스포머 대 그래프 기반)과 다중 스케일 데이터 표현 간 설계 트레이드오프를 분석한다.
• 기상학적 현실성과 다운스트림 유용성에 맞춘 평가 및 진단 기준을 제안한다.

실험 결과

연구 질문

• RQ1 날씨와 기후 기본 모델이 효과적으로 적용될 수 있는 주요 하류 작업은 무엇인가?
• RQ2 일반화 가능한 날씨 기본 모델을 구축하기 위한 설계 기준과 데이터 요구사항은 무엇인가?
• RQ3 다운스케일링, nowcasting, 데이터 동화, 파라미터화 등의 작업에서 기본 모델이 어떻게 개선될 수 있는가?
• RQ4 FM 접근법을 날씨/기후 영역에 적용하는 데 있어 도전과 한계는 무엇이며 어떻게 완화될 수 있는가?
• RQ5 장기 도입을 위한 로드맵과 이정표는 무엇인가?

주요 결과

• 기본 모델은 날씨/기후 변수 및 시간스케일 전반에서 정확도와 효율성을 향상시킬 수 있다.
• 대규모의 다양한 데이터셋에서 사전학습하면 하류 작업에 대한 라벨 데이터 필요성을 줄인다.
• 경량의 작업별 디코더로 미세조정하면 다목적 배치를 가능하게 한다.
• 현재 AI 에뮬레이터와 모델은 일부 NWP 시스템과 비슷한 성능을 달성하지만 입자성(그레인) 크기, 리드타임, 일반화에 한계가 있다.
• 다운스케일링, 위험 탐지, 기후 애플리케이션은 FM 접근으로 일반화 및 데이터 효율성 향상을 통해 이익을 얻을 수 있다.
• 주목할 만한 예시(예: FourCastNet, PanguWeather, GraphCast)가 확장 가능하고 고해상도 모델링으로의 빠른 진전을 보여준다.