[논문 리뷰] Foundation Models for Weather and Climate Data Understanding: A Comprehensive Survey

Shengchao Chen, Guodong Long외 3명|arXiv (Cornell University)|2023. 12. 05.

Meteorological Phenomena and Simulations인용 수 10

한 줄 요약

이 논문은 시계열, 시공간 데이터, 텍스트 데이터에 초점을 맞춘 기상 및 기후 데이터에 대한 최첨단 기초 모델과 작업 특화 모델을 개관하고, 데이터 세트, 아키텍처, 응용, 도전과제 및 향후 방향을 논의한다.

ABSTRACT

As artificial intelligence (AI) continues to rapidly evolve, the realm of Earth and atmospheric sciences is increasingly adopting data-driven models, powered by progressive developments in deep learning (DL). Specifically, DL techniques are extensively utilized to decode the chaotic and nonlinear aspects of Earth systems, and to address climate challenges via understanding weather and climate data. Cutting-edge performance on specific tasks within narrower spatio-temporal scales has been achieved recently through DL. The rise of large models, specifically large language models (LLMs), has enabled fine-tuning processes that yield remarkable outcomes across various downstream tasks, thereby propelling the advancement of general AI. However, we are still navigating the initial stages of crafting general AI for weather and climate. In this survey, we offer an exhaustive, timely overview of state-of-the-art AI methodologies specifically engineered for weather and climate data, with a special focus on time series and text data. Our primary coverage encompasses four critical aspects: types of weather and climate data, principal model architectures, model scopes and applications, and datasets for weather and climate. Furthermore, in relation to the creation and application of foundation models for weather and climate data understanding, we delve into the field's prevailing challenges, offer crucial insights, and propose detailed avenues for future research. This comprehensive approach equips practitioners with the requisite knowledge to make substantial progress in this domain. Our survey encapsulates the most recent breakthroughs in research on large, data-driven models for weather and climate data understanding, emphasizing robust foundations, current advancements, practical applications, crucial resources, and prospective research opportunities.

연구 동기 및 목표

• 기상 및 기후 데이터에 대한 최신의 대형 기초 모델과 작업 특화 모델에 대한 개요를 제공한다.
• 아키텍처 및 데이터 모달리티(시계열, 시공간, 텍스트)로 모델을 분류한다.
• 기상/기후 AI 연구에 사용할 수 있는 데이터 세트, 도구 및 자료를 요약한다.
• 기후 기초 모델의 도전과제, 기회 및 설계 고려사항을 강조한다.

제안 방법

• 기상 및 기후 데이터에 적용된 기초 모델과 작업 특화 모델에 대한 체계적 문헌 고찰.
• 아키텍처(RNNs, Transformers, GANs, Diffusion, GNNs) 및 데이터 모달리티(시계열, 시공간, 텍스트)로 모델 분류.
• 기상/기후 과학에서의 데이터 유형, 작업 및 대표적 응용에 대한 논의.
• 해당 분야의 데이터 세트, 자료 및 오픈 소스 도구의 수집.
• 기후 기초 모델을 위한 설계 원칙과 향후 연구 방향 제시.

실험 결과

연구 질문

• RQ1 현재 기상 및 기후 데이터 이해에 사용되는 기초 모델과 작업 특화 모델은 무엇인가?
• RQ2 이 모델들은 데이터 모달리티와 아키텍처 계열에 어떻게 분포되어 있는가?
• RQ3 기상 및 기후 AI 연구를 지원하기 위해 어떤 데이터 세트와 도구가 가능한가?
• RQ4 기상/기후 기초 모델 개발을 정의하는 도전과제와 기회는 무엇인가?

주요 결과

• 본 고찰은 시계열, 시공간 데이터 및 텍스트에 걸친 기상 및 기후 데이터의 대규모 및 작업 특화 모델에 대한 포괄적이고 현대적인 개요를 제공합니다.
• RNN, 트랜스포머, GAN, 확산 모델, GNN 등과 같은 아키텍처로 자세히 분류된 기후 기초 모델과 작업 특화 모델의 구조화된 분류를 제공합니다.
• 연구자들을 돕기 위한 데이터 세트, 오픈 소스 구현 및 자원의 풍부한 수집을 제시합니다.
• 데이터 표현, 다중 모달 모델링, 해석 가능성, 일반화, 프라이버시 및 순차 학습에서의 도전과제를 식별하고 미래 연구 방향을 제시합니다.
• 데이터 선택, 표현, 학습 전략 및 평가 체계를 포함하여 기상 및 기후 기초 모델 구축에 대한 설계 통찰을 제공합니다.