[논문 리뷰] Aardvark weather: end-to-end data-driven weather forecasting

Anna Vaughan, Stratis Markou외 9명|arXiv (Cornell University)|2024. 03. 30.

Hydrological Forecasting Using AI인용 수 8

한 줄 요약

Aardvark Weather는 원시 관측치를 바로 예보로 매핑하는 엔드-투-엔드 데이터 중심 기상 예측 시스템을 처음으로 제시합니다. 초기 상태 추정, 글로벌 예보, 외부 NWP 입력 없이 다운스트림 관측소 예보까지 포함합니다.

ABSTRACT

This resource contains the key source code, some sample data and the trained models from the paper: "End-to-end data-driven weather forecasting."

연구 동기 및 목표

• 전체 NWP 파이프라인을 데이터 기반 접근 방식으로 대체하여 엔드-투-엔드 기상 예측을 촉진한다.
• 원시 관측 데이터를 입력으로 받아 글로벌 격자 예보와 국지 관측소 예보를 모두 출력하는 엔드-투-엔드 모델을 개발한다.
• 5–7일 선행 시간에서의 능력 있는 예보를 시연하고 전통적인 NWP에 비해 잠재적 계산 효율 이점을 보여준다.
• 일부 지역의 데이터 부족을 다루기 위해 재분석 데이터로의 프리트레이닝과 관측 데이터로의 미세조정을 가능하게 한다.

제안 방법

• 온-그리드 및 오프-그리드 데이터와 결측치를 처리하기 위한 인코더, 프로세서, 디코더를 갖춘 세 모듈 신경 프로세스 기반 아키텍처(ConvCNP)를 제안한다.
• 각 모듈에 대해 UNet 백본을 사용하여 확장 가능한 엔드-투-엔드 학습을 가능하게 한다.
• 현장 측정 및 원격 감지 소스의 관측 입력을 격자 초기 상태로 인코딩하고, 프로세서를 통해 자기회귀적으로 예측하며, 지역 관측소 예보로 디코딩한다.
• 프리트레이닝을 위해 ERA5 재분석 데이터로 학습한 다음, 2007–2022년 실제 관측값을 사용해 미세조정하여 초기 상태와 예보를 개선한다.
• SetConv 계층을 활용해 비격자(off-the-grid) 데이터를 보간하고 격자 예보를 임의의 관측소 위치에 매핑하며 지형 정보를 포함한다.

Figure 1 : Illustration of the complete end-to-end weather prediction pipeline. First, in the atmospheric state estimation stage (green), observed data from a range of sources including remote sensing platforms, marine observation platforms (e.g. ships) and in-situ land-based observation stations (w

실험 결과

연구 질문

• RQ1 기존 NWP 시스템의 입력 없이 엔드-투-엔드 데이터 기반 모델이 글로벌 예보와 로컬 예보를 모두 생성할 수 있는가?
• RQ2 다중 기압면에서 24개 글로벌 변수 및 로컬 관측소 예보에 대해 엔드-투-엔드 모델의 예측 능력은 어느 정도인가?
• RQ3 정확도 및 계산 효율성 측면에서 지속성, 기후통계, IFS-HRES 같은 기준선과 비교하여 엔드-투-엔드 모델은 어떻게 되는가?
• RQ4 ERA5 재분석 데이터로의 프리트레이닝이 관측 데이터로 미세조정할 때 성능을 어느 정도 개선할 수 있는가?
• RQ5 다양한 지리적 지역에서 오프-더-그리드 데이터와 누락 관측치를 모델이 얼마나 잘 처리하는가?

주요 결과

• 모델은 1.41° 격자 및 24h 시간 해상도에서 여러 수준에 대해 24개 변수의 능숙한 예보를 다섯에서 일곱 날 선행 시간으로 제공한다.
• 원시 관측으로부터의 글로벌 초기 상태 추정은 기후통계보다 훨씬 낮은 오차를 달성하고 일부 지표에서 IFS-HRES와 경쟁적이지만 이를 초과하지는 않는다는 점에서 우수하다.
• 로컬 관측소 예보의 경우 T2M, MSLP, U10에 대해 다중 선행 시간에서 Aardvark가 최근접 이웃 IFS-HRES 기준선보다 우수하다.
• 엔드-투-엔드 시스템은 전통적 NWP 기준선보다 현저히 적은 계산 자원으로 작동하며 소수의 GPU로 학습될 수 있다.
• ERA5로의 프리트레이닝은 희박한 관측 데이터로 미세조정할 때 인코더의 활용도를 향상시켜 특정 지역의 데이터 부족 문제를 해결한다.