[논문 리뷰] Do AI models produce better weather forecasts than physics-based models? A quantitative evaluation case study of Storm Ciarán

Andrew Charlton‐Perez, Helen Dacre외 9명|arXiv (Cornell University)|2023. 12. 05.

Meteorological Phenomena and Simulations인용 수 6

한 줄 요약

이 연구는 스톰 시아란이라는 치명적인 유럽 풍우를 예측하는 데 있어 최신의 AI 기반 날씨 모델 네 가지—FourCastNet, Pangu-Weather, GraphCast, FourCastNet-v2—과 물리 기반 수치 모델을 비교 평가한다. AI 모델들은 대규모 시스템의 순환 구조와 동역학적 원인을 정확히 포착하지만, 정점 풍속을 일관되게 과소평가하고, 굽은 뒷면 front 기울기와 따뜻한 중심 고립과 같은 주요 중규모 특징을 해결하지 못한다.

ABSTRACT

There has been huge recent interest in the potential of making operational weather forecasts using machine learning techniques. As they become a part of the weather forecasting toolbox, there is a pressing need to understand how well current machine learning models can simulate high-impact weather events. We compare forecasts of Storm Ciarán, a European windstorm that caused sixteen deaths and extensive damage in Northern Europe, made by machine learning and numerical weather prediction models. The four machine learning models considered (FourCastNet, Pangu-Weather, GraphCast and FourCastNet-v2) produce forecasts that accurately capture the synoptic-scale structure of the cyclone including the position of the cloud head, shape of the warm sector and location of warm conveyor belt jet, and the large-scale dynamical drivers important for the rapid storm development such as the position of the storm relative to the upper-level jet exit. However, their ability to resolve the more detailed structures important for issuing weather warnings is more mixed. All of the machine learning models underestimate the peak amplitude of winds associated with the storm, only some machine learning models resolve the warm core seclusion and none of the machine learning models capture the sharp bent-back warm frontal gradient. Our study shows there is a great deal about the performance and properties of machine learning weather forecasts that can be derived from case studies of high-impact weather events such as Storm Ciarán.

연구 동기 및 목표

• 현대의 AI 기반 날씨 모델이 고영향도의 세력 외부 저기압을 예측하는 데 얼마나 잘 수행되는지 평가하기 위해.
• 실제 사례 연구에서 AI 모델 예측을 물리 기반 수치 기상 예측(NWP) 모델의 예측과 비교하기 위해.
• AI 모델이 심각한 기상 경보에 필수적인 주요 대기 순환 및 중규모 특징을 얼마나 잘 재현할 수 있는지 평가하기 위해.
• AI 모델이 급속 발달하는 저기압과 관련된 위험 기상 현상을 표현하는 데 있어서의 강점과 한계를 규명하기 위해.
• 예측 정밀도를 정량화하여 AI 모델을 운영 기상 예보 시스템에 통합하는 데 도움이 되도록 정보를 제공하기 위해.

제안 방법

• Four개의 딥 러닝 기반 날씨 모델인 FourCastNet, Pangu-Weather, GraphCast, FourCastNet-v2를 사용하여 스톰 시아란의 후행 예측을 수행하였다.
• 모델 출력 결과는 관측 데이터 및 운영용 NWP 모델 출력 결과(예: ECMWF)와 비교하여 주요 대기 변수에 대해 분석하였다.
• 저기압 중심 위치, 따뜻한 수송 벨트 제트, 상층 제트 탈출 영역과 같은 대규모 특징을 분석하였다.
• 굽은 뒷면 front 기울기와 따뜻한 중심 고립과 같은 중규모 특징의 정확성과 해상도를 평가하였다.
• 예측 정확도 평가를 위해 루트 평균 제곱 오차(RMSE) 및 패턴 상관관계와 같은 정량적 지표를 사용하였다.
• 폭풍의 수명 주기 동안 여러 대기 수준과 시간 단계에서 정성적·정량적 비교를 수행하였다.

실험 결과

연구 질문

• RQ1 AI 기반 날씨 모델은 물리 기반 모델 대비 스톰 시아란의 대규모 순환 구조를 얼마나 정확히 재현하는가?
• RQ2 AI 모델은 폭풍 경보에 필수적인 중규모 특징, 예를 들어 굽은 뒷면 front와 따뜻한 중심 고립을 어느 정도 해결할 수 있는가?
• RQ3 AI 모델의 예측은 운영용 NWP 모델과 비교해 정점 풍속과 폭풍 강도 예측에서 얼마나 유사한가?
• RQ4 특히 상층 제트의 역할과 같은 폭풍의 동역학적 원인을 표현할 때 AI 모델 출력에 나타나는 체계적 편향은 무엇인가?
• RQ5 AI 모델은 스톰 시아란과 같은 급속 발달 외부 저기압을 신뢰성 있게 시뮬레이션할 수 있는가?

주요 결과

• 모든 네 개의 AI 모델이 스톰 시아란의 대규모 순환 구조를 정확히 포착하였으며, 구름 머리 위치와 따뜻한 영역의 위치를 포함한다.
• AI 모델들은 상층 제트 탈출 영역의 위치와 영향력을 정확히 재현하였다. 이는 급속 발달의 핵심 원인이다.
• 대규모 구조를 정확히 표현했음에도 불구하고, 모든 AI 모델이 폭풍과 관련된 정점 풍속을 일관되게 과소평가하였다.
• 일부 AI 모델만 따뜻한 중심 고립을 해결하였고, 어떤 모델도 굽은 뒷면 따뜻한 front의 급격한 기울기를 포착하지 못하였다.
• 모델들은 강도와 세밀한 전면 구조에 대해 일관된 편향을 보였으며, 경보에 필수적인 중규모 특징을 해결하는 데 한계가 있음을 시사한다.
• 본 연구는 AI 모델이 대규모 기상 역학에서는 잘 수행되지만, 운영 경보 결정에 필요한 세밀하고 고영향도의 특징을 여전히 해결하지 못하고 있음을 입증한다.