[논문 리뷰] Evaluation of Tropical Cyclone Track and Intensity Forecasts from Artificial Intelligence Weather Prediction (AIWP) Models

Mark DeMaria, James L. Franklin외 5명|arXiv (Cornell University)|2024. 09. 08.

Tropical and Extratropical Cyclones Research인용 수 4

한 줄 요약

이 연구는 National Hurricane Center (NHC) 검증 기준을 사용하여 네 가지 오픈소스 AI 기반 기상 예측 모델—FourCastNetv1, FourCastNetv2-small, GraphCast-operational, Pangu-Weather—의 토네이도(태풍) 이격도 및 강도 예측 능력을 평가한다. AIWP 모델들은 최고의 운영 모델과 유사한 이격도 예측 정확도를 보이지만, 강도 예측에 상당한 편향을 보이며, 최대 24시간 이내에 슈퍼포지션을 과소평가하여 보정이 없는 한 실용적 이용가능성이 제한된다.

ABSTRACT

In just the past few years multiple data-driven Artificial Intelligence Weather Prediction (AIWP) models have been developed, with new versions appearing almost monthly. Given this rapid development, the applicability of these models to operational forecasting has yet to be adequately explored and documented. To assess their utility for operational tropical cyclone (TC) forecasting, the NHC verification procedure is used to evaluate seven-day track and intensity predictions for northern hemisphere TCs from May-November 2023. Four open-source AIWP models are considered (FourCastNetv1, FourCastNetv2-small, GraphCast-operational and Pangu-Weather). The AIWP track forecast errors and detection rates are comparable to those from the best-performing operational forecast models. However, the AIWP intensity forecast errors are larger than those of even the simplest intensity forecasts based on climatology and persistence. The AIWP models almost always reduce the TC intensity, especially within the first 24 h of the forecast, resulting in a substantial low bias. The contribution of the AIWP models to the NHC model consensus was also evaluated. The consensus track errors are reduced by up to 11% at the longer time periods. The five-day NHC official track forecasts have improved by about 2% per year since 2001, so this represents more than a five-year gain in accuracy. Despite substantial negative intensity biases, the AIWP models have a neutral impact on the intensity consensus. These results show that the current formulation of the AIWP models have promise for operational TC track forecasts, but improved bias corrections or model reformulations will be needed for accurate intensity forecasts.

연구 동기 및 목표

• 신규로 등장하는 AI 기반 기상 예측(AIWP) 모델의 토네이도(TC) 예측에 대한 운영적 활용 가능성을 평가하기 위해.
• NHC가 검증한 기준에 따라 AIWP 모델의 토네이도 이격도 및 강도 예측 성능을 평가하기 위해.
• AIWP 모델이 NHC 공식 예측 공식화에 미치는 영향, 특히 이격도 및 강도 예측에서의 영향을 규명하기 위해.
• 특히 강도 예측에서의 주요 한계를 규명하고 운영 통합을 위한 향상 방안을 제안하기 위해.

제안 방법

• 연구는 2023년 5월에서 11월까지 북반구 토네이도에 대해 일주일 이격도 및 강도 예측을 평가하기 위해 NHC 검증 절차를 사용한다.
• 역사적 대기 및 해양 재분석 자료를 입력으로 사용하여 네 가지 오픈소스 AIWP 모델—FourCastNetv1, FourCastNetv2-small, GraphCast-operational, Pangu-Weather—를 평가한다.
• 이격도 예측 오차와 탐지율을 계산하고 운영 모델 및 기상기록-지속성(C-P) 기준과 비교한다.
• 강도 예측 오차는 편향을 중심으로 정량화하고 분석하며, 특히 예측의 첫 24시간 동안의 경향을 중점적으로 분석한다.
• NHC 모델 공식화에 대한 AIWP 모델의 기여도는 시간에 따른 공식화 오차 변화를 측정하여 평가한다.
• 예측 편향 보정 기법은 관측된 강도 추세와의 괴리 정도를 분석함으로써 암묵적으로 평가한다.

실험 결과

연구 질문

• RQ1 AIWP 모델은 일주일 동안 토네이도 이격도 및 강도 예측에서 운영 모델과 어떻게 비교되는가?
• RQ2 AIWP 모델의 강도 예측 편향의 크기와 시간적 변화는 어떠한가, 특히 첫 24시간 내에서 어떻게 나타나는가?
• RQ3 AIWP 모델은 NHC 공식 예측 공식화에 얼마나 기여하는가, 특히 이격도 예측에서의 기여는 어떠한가?
• RQ4 강도 예측 성능이 뛰어난데도 불구하고 AIWP 모델은 왜 토네이도 강도를 일관되게 과소평가하는가?
• RQ5 현행 AIWP 모델 구조는 중대한 보정 없이 운영에 통합될 수 있는가?

주요 결과

• AIWP 모델들은 최고의 운영 모델과 유사한 이격도 예측 오차를 기록하며, 장기 예측에서 공식화 이격도 오차가 최대 11% 감소하였다.
• NHC 공식 이격도 예측 정확도는 2001년 이래로 매년 약 2% 향상되었으며, AIWP 모델의 기여는 이와 유사하게 일주일 간의 예측 정확도 향상에 5년 이상의 진전에 해당한다.
• AIWP 모델들은 상당한 음성 강도 편향을 보이며, 특히 첫 24시간 내에 강도를 과소평가하여 단순 기상기록-지속성(C-P) 예측보다도 더 큰 오차를 낳는다.
• 강도 편향이 심각함에도 불구하고 AIWP 모델은 NHC 강도 공식화에 중립적인 영향을 미치며, 이는 모델 오차가 공식화 출력을 악화시키지 않는다는 것을 시사한다.
• 연구는 AIWP 모델들이 이격도 예측에 있어 큰 잠재력을 보이지만, 강도 예측에 실용적으로 활용되기 위해서는 향상된 편향 보정 또는 모델 재구성 필요성을 결론 내린다.
• 결과는 현재 AIWP 모델의 구조가 직접적인 강도 예측에 사용되기에는 부적합하며, 중대한 후처리 또는 아키텍처 개선이 필요함을 강조한다.