[논문 리뷰] A Foundation Model for the Earth System

Cristian Bodnar, Wessel P. Bruinsma외 16명|arXiv (Cornell University)|2024. 05. 20.

Solar and Space Plasma Dynamics인용 수 35

한 줄 요약

Aurora는 1.3B 매개변수의 대기 기초 모델로, 다양하고 방대한 기상 및 기후 데이터의 수백만 시간 이상에서 학습되었습니다. 이는 빠르고 고해상도 예측을 제공하여, 다수의 시나리오에서 최첨단 고전 도구 및 다른 딥 러닝 모델을 능가합니다. 이에는 5일 글로벌 대기오염 예측과 10일 고해상도 기상 예측이 포함됩니다.

ABSTRACT

Reliable forecasts of the Earth system are crucial for human progress and safety from natural disasters. Artificial intelligence offers substantial potential to improve prediction accuracy and computational efficiency in this field, however this remains underexplored in many domains. Here we introduce Aurora, a large-scale foundation model for the Earth system trained on over a million hours of diverse data. Aurora outperforms operational forecasts for air quality, ocean waves, tropical cyclone tracks, and high-resolution weather forecasting at orders of magnitude smaller computational expense than dedicated existing systems. With the ability to fine-tune Aurora to diverse application domains at only modest computational cost, Aurora represents significant progress in making actionable Earth system predictions accessible to anyone.

연구 동기 및 목표

• 다양하고 대규모 데이터에서 일반화 가능한 대기 표현을 학습하기 위해 기초 모델의 사용을 동기 부여합니다.
• 다양한 입력과 다중 해상도를 처리하는 유연한 3D 기상 및 대기 과정 기초 모델인 Aurora를 개발합니다.
• 데이터가 제한적이거나 극端 이벤트가 있는 작업에 대해 빠르고 정확한 예측 능력을 보여줍니다.
• 데이터 및 모델 규모 확장이 데이터 세트와 작업 전반의 예측 성능을 향상시킨다는 점을 보여줍니다.

제안 방법

• 공간, 압력 수준, 해상도 전반의 이질적 입력과 출력을 다루기 위해 3D Swin Transformer 기반 프로세서와 Perceiver 기반 인코더/디코더를 짝지킵니다.
• ERA5, CMCC, IFS-HR, HRES Forecasts, GFS Analysis, GFS Forecasts를 아우르는 혼합 데이터 세트 체제를 통한 사전 학습으로, 32 A100 GPU에서 150k 스텝 동안 6시간 리드 타임의 다음 시간 스텝 MAE를 최소화합니다.
• LoRA(Low Rank Adaptation)를 사용한 짧은 리드 타임 미세조정에 이어 긴 리드 타임 롤아웃 미세조정을 포함하는 2단계 미세조정.
• 예측을 모델에 피드백으로 반복적으로 입력하여 서로 다른 리드 타임을 생성하는 예측.
• 대기 화학, 오염 및 고해상도 기상 작업에서 성능을 평가하기 위해 CAMS 분석 및 IFS-HRES 데이터에 대해 평가합니다.
• 전통적인 NWP와의 벤치마크를 위해 0.25° 해상도에서 GraphCast 및 IFS-HRES와의 비교를 수행합니다.

실험 결과

연구 질문

• RQ1 대기 화학, 대기 오염 및 고해상도 기상 작업에서 작동적으로 관련된 예측을 대규모 이질적 데이터로 학습한 기초 모델이 달성할 수 있는가?
• RQ2 다양한 데이터 세트에 대한 사전 학습이 특히 데이터가 희소하거나 극端 이벤트가 발생하는 regime에서 성능과 견고함을 향상시키는가?
• RQ3 해상도 및 데이터 충실도에 걸쳐 학습된 단일 모델이 전문화된 기존 시스템보다 정확성과 효율성 면에서 뛰어날 수 있는가?
• RQ4 예측 기술과 꼬리 성능에 대한 모델 및 데이터 규모의 효과는 무엇인가?
• RQ5 Aurora가 기존 AI 기상 예측 모델 및 IFS-HRES와 관측 및 극端 이벤트 사례에서 어떻게 비교되는가?

주요 결과

• Aurora는 0.4° 해상도의 5일 글로벌 대기오염 예측과 0.1° 해상도의 10일 예측을 제공하며 IFS 대비 상당한 속도 향상을 보이고 대부분의 목표에서 최첨단 도구를 능가합니다.
• Aurora는 CAMS 분석 설정에서 목표의 74%에서 CAMS 예측과 일치하거나 그 이상이며, 95%의 목표에서 CAMS에 대해 RMSE의 20% 이내에 있습니다.
• 0.1° 해상도에서 Aurora는 12시간을 초과하는 리드 타임에서도 IFS-HRES를 상회하며, 더 긴 리드 타임에서 RMSE를 최대 60%까지 감소시킵니다.
• 0.25° 해상도에서 Aurora는 GraphCast를 지속적으로 능가하고 여러 변수 및 리드 타임에서 IFS-HRES 성능에 근접하며, 특히 풍향과 기온에서 두드러집니다.
• 데이터 다양성과 모델 확장은 예측 성능을 향상시키며, ERA5 단독(C1) 대비 다중 데이터 세트(C2/C3/C4)에서 사전 학습 시 꼬리 성능 및 다양한 변수에서 이득이 나타납니다.
• Storm Ciarán 사례 연구에서 Aurora는 0.1° 해상도에서 다른 AI 모델보다 급격한 바람 속도 증가를 더 잘 포착합니다.