[論文レビュー] Do AI models produce better weather forecasts than physics-based models? A quantitative evaluation case study of Storm Ciarán

Andrew Charlton‐Perez, Helen Dacre+9 more|arXiv (Cornell University)|Dec 5, 2023

Meteorological Phenomena and Simulations被引用数 6

ひとこと要約

本研究では、四大手のAI気象モデル（FourCastNet、Pangu-Weather、GraphCast、FourCastNet-v2）を、壊滅的なヨーロッパの低気圧ストーム・シアランの予測において、物理ベースの数値モデルと比較した。AIモデルは大規模な低気圧構造と力学的駆動要因を正確に捉えているが、ピーク風速を一貫して低く見積もっており、曲がった前線勾配や温暖渦の分離といった重要な中規模の特徴を解像できない。

ABSTRACT

There has been huge recent interest in the potential of making operational weather forecasts using machine learning techniques. As they become a part of the weather forecasting toolbox, there is a pressing need to understand how well current machine learning models can simulate high-impact weather events. We compare forecasts of Storm Ciarán, a European windstorm that caused sixteen deaths and extensive damage in Northern Europe, made by machine learning and numerical weather prediction models. The four machine learning models considered (FourCastNet, Pangu-Weather, GraphCast and FourCastNet-v2) produce forecasts that accurately capture the synoptic-scale structure of the cyclone including the position of the cloud head, shape of the warm sector and location of warm conveyor belt jet, and the large-scale dynamical drivers important for the rapid storm development such as the position of the storm relative to the upper-level jet exit. However, their ability to resolve the more detailed structures important for issuing weather warnings is more mixed. All of the machine learning models underestimate the peak amplitude of winds associated with the storm, only some machine learning models resolve the warm core seclusion and none of the machine learning models capture the sharp bent-back warm frontal gradient. Our study shows there is a great deal about the performance and properties of machine learning weather forecasts that can be derived from case studies of high-impact weather events such as Storm Ciarán.

研究の動機と目的

• 最新のAI気象モデルが、高影響を及ぼす中緯度低気圧を予測する性能を評価すること。
• 実世界の事例としてのストーム・シアランにおいて、AIモデルの予報と物理ベースの数値気象予報（NWP）モデルの予報を比較すること。
• AIモデルが、深刻な天候警報に不可欠な主要な気象学的・中規模の特徴を再現できるかを評価すること。
• AIモデルが急激な低気圧発達および関連する危険天候を表現する際の強みと限界を特定すること。
• 予測の正確性を定量化することで、AIモデルを運用気象予報システムに統合する手がかりを提供すること。

提案手法

• Fourつの深層学習ベースの気象モデル（FourCastNet、Pangu-Weather、GraphCast、FourCastNet-v2）を用いたストーム・シアランのリトロスペクティブ予報。
• 観測データおよび運用NWPモデル出力（例：ECMWF）と比較して、主要な大気変数についてモデル出力を評価した。
• 低気圧中心位置、温帯上昇気流ジェット、上層部ジェット出口域といった大規模な特徴を分析した。
• 曲がった前線勾配や温暖渦の分離といった中規模の特徴について、再現性と解像度を評価した。
• 予報精度を評価するために、平均二乗誤差（RMSE）やパターン相関といった定量的指標を用いた。
• ストームのライフサイクルにわたる複数の大気層および時間ステップにおいて、定性的かつ定量的な比較を実施した。

実験結果

リサーチクエスチョン

• RQ1 AI気象モデルは、物理ベースのモデルと比較して、ストーム・シアランの大規模な気象学的構造をどの程度正確に再現できるか？
• RQ2 AIモデルは、深刻な天候警報に不可欠な中規模の特徴（例：曲がった前線、温暖渦の分離）をどの程度解像できるか？
• RQ3 AIモデルの予報は、運用NWPモデルと比較して、ピーク風速や嵐の強度をどの程度正確に予測できるか？
• RQ4 特に上層部ジェットといった嵐の力学的駆動要因を表現するにあたり、AIモデル出力に系統的なバイアスがあるか？
• RQ5 AIモデルは、ストーム・シアランのような中緯度低気圧の急激な発達を信頼性高く再現できるか？

主な発見

• 4つのAIモデルすべてが、雲頭の位置や温帯域の位置を含むストーム・シアランの大規模な気象学的構造を正確に捉えていた。
• AIモデルは上層部ジェット出口域の位置とその影響を正しく再現しており、急激な低気圧発達の主要因である。
• 大規模な構造の再現が正確であったにもかかわらず、すべてのAIモデルが嵐に伴うピーク風速を一貫して低く見積もっていた。
• 一部のAIモデルでのみ温暖渦の分離が解像されたが、いずれのモデルも曲がった温帯前線の急峻な勾配を捉えていなかった。
• 強度と微細な前線構造に一貫したバイアスが見られ、警告に不可欠な中規模の特徴を解像できないという限界が示された。
• 本研究は、AIモデルが大規模な力学的特徴については優れた性能を示すが、運用上の警報意思決定に不可欠な詳細で高影響を及ぼす特徴をまだ十分に再現できないことを示している。