[論文レビュー] Evaluation of Tropical Cyclone Track and Intensity Forecasts from Artificial Intelligence Weather Prediction (AIWP) Models

Mark DeMaria, James L. Franklin+5 more|arXiv (Cornell University)|Sep 8, 2024

Tropical and Extratropical Cyclones Research被引用数 4

ひとこと要約

本研究では、国立ハリケーンセンター（NHC）の検証基準を用いて、熱帯低気圧（TC）の進路および強度予測について、4つのオープンソースAI気象予測モデル—FourCastNetv1、FourCastNetv2-small、GraphCast-operational、Pangu-Weather—を評価している。AIWPモデルは、最高の運用モデルと同等の進路予測精度を示すが、強度予測において顕著なバイアスを示しており、最大24時間にわたり暴風の強度を低く見積もっている。これは、バイアス補正が施されない限り、実運用への応用が制限されることを示している。

ABSTRACT

In just the past few years multiple data-driven Artificial Intelligence Weather Prediction (AIWP) models have been developed, with new versions appearing almost monthly. Given this rapid development, the applicability of these models to operational forecasting has yet to be adequately explored and documented. To assess their utility for operational tropical cyclone (TC) forecasting, the NHC verification procedure is used to evaluate seven-day track and intensity predictions for northern hemisphere TCs from May-November 2023. Four open-source AIWP models are considered (FourCastNetv1, FourCastNetv2-small, GraphCast-operational and Pangu-Weather). The AIWP track forecast errors and detection rates are comparable to those from the best-performing operational forecast models. However, the AIWP intensity forecast errors are larger than those of even the simplest intensity forecasts based on climatology and persistence. The AIWP models almost always reduce the TC intensity, especially within the first 24 h of the forecast, resulting in a substantial low bias. The contribution of the AIWP models to the NHC model consensus was also evaluated. The consensus track errors are reduced by up to 11% at the longer time periods. The five-day NHC official track forecasts have improved by about 2% per year since 2001, so this represents more than a five-year gain in accuracy. Despite substantial negative intensity biases, the AIWP models have a neutral impact on the intensity consensus. These results show that the current formulation of the AIWP models have promise for operational TC track forecasts, but improved bias corrections or model reformulations will be needed for accurate intensity forecasts.

研究の動機と目的

• 新興のAI気象予測（AIWP）モデルの熱帯低気圧（TC）予測における運用的有用性を評価すること。
• NHCが検証する基準に従い、AIWPモデルのTC進路および強度予測性能を評価すること。
• AIWPモデルがNHC公式予報コンSENSUSに与える影響、特に進路および強度予測における影響を特定すること。
• 特に強度予測における主な限界を特定し、運用統合に向けた改善策を提案すること。

提案手法

• 本研究では、2023年5月から11月にかけて北半球の熱帯低気圧について7日間の進路および強度予測を、NHCの検証手順に従って評価した。
• FourつのオープンソースAIWPモデル—FourCastNetv1、FourCastNetv2-small、GraphCast-operational、Pangu-Weather—を、歴史的な大気および海洋再解析データを入力として用いて評価した。
• 進路予測誤差および検出率を算出し、運用モデルおよび気候学的・時間的外挿（C-P）ベースラインと比較した。
• 強度予測誤差を定量的に評価し、特に予報開始後24時間以内のバイアスに注目して分析した。
• NHCモデルコンセンサスへのAIWPモデルの寄与度を、時間経過に伴うコンセンサス予報誤差の変化を測定することで評価した。
• 予報値が観測された強度トレンドからどれほど逸脱しているかを分析することで、バイアス補正技術の効果を間接的に評価した。

実験結果

リサーチクエスチョン

• RQ1 AIWPモデルは、7日間の期間にわたり、運用モデルと比較してどのように熱帯低気圧の進路および強度を予測するか？
• RQ2 AIWPモデルにおける強度予測バイアスの大きさと時間的変化は何か、特に最初の24時間に注目して。
• RQ3 AIWPモデルは、NHC公式予報コンセンサスをどの程度改善するか、特に進路予測において。
• RQ4 AIWPモデルは、進路予測性能が優れているにもかかわらず、なぜ一貫して熱帯低気圧の強度を低く見積もるのか？
• RQ5 現在のAIWPモデルの定式化では、顕著なバイアス補正なしに運用統合が可能か？

主な発見

• AIWPモデルは、最高の運用モデルと同等の進路予測誤差を達成しており、長期予報ではコンセンサスの進路誤差が最大11%まで低減された。
• NHC公式進路予報の5日間精度は2001年以降、年間約2%向上しており、AIWPモデルの貢献はこれに相当する5年以上分の進歩に相当する。
• AIWPモデルは顕著な負の強度バイアスを示しており、特に最初の24時間以内に暴風の強度を低く見積もっており、単純な気候学的・時間的外挿（C-P）予報でさえも誤差が小さい。
• 顕著な強度バイアスがあるにもかかわらず、AIWPモデルはNHC強度コンセンサスに中立的な影響を及ぼしており、コンセンサス出力の品質を悪化させないことが示された。
• 本研究の結論として、AIWPモデルは進路予測において大きな可能性を示しているが、強度予測の運用可能性を得るためには、より優れたバイアス補正またはモデル再設計が必要である。
• 結果から、現在のAIWPモデルの定式化は、顕著な後処理またはアーキテクチャの見直しがない限り、直接的な強度予測に使用するには不適切であることが明らかになった。