[論文レビュー] A new paradigm for medium-range severe weather forecasts: probabilistic random forest-based predictions

Aaron J. Hill, Russ S. Schumacher+1 more|arXiv (Cornell University)|Aug 3, 2022

Meteorological Phenomena and Simulations被引用数 15

ひとこと要約

本論文は、GEFSv12 再予報データセットからの歴史的豪雨報告と再予報データを用いて、中距離（4〜8日目）の豪雨予報を生成する確率的ランダムフォレスト（RF）モデルを紹介する。このモデルは、4〜5日目において人為的SPO展望と同等の精度を達成し、低閾値における良好なキャリブレーション確率を示しており、機械学習が運用上の中期的豪雨予報支援を強化する価値を示している。

ABSTRACT

Historical observations of severe weather and simulated severe weather environments (i.e., features) from the Global Ensemble Forecast System v12 (GEFSv12) Reforecast Dataset (GEFS/R) are used in conjunction to train and test random forest (RF) machine learning (ML) models to probabilistically forecast severe weather out to days 4--8. RFs are trained with 9 years of the GEFS/R and severe weather reports to establish statistical relationships. Feature engineering is briefly explored to examine alternative methods for gathering features around observed events, including simplifying features using spatial averaging and increasing the GEFS/R ensemble size with time-lagging. Validated RF models are tested with ~1.5 years of real-time forecast output from the operational GEFSv12 ensemble and are evaluated alongside expert human-generated outlooks from the Storm Prediction Center (SPC). Both RF-based forecasts and SPC outlooks are skillful with respect to climatology at days 4 and 5 with degrading skill thereafter. The RF-based forecasts exhibit tendencies to underforecast severe weather events, but they tend to be well-calibrated at lower probability thresholds. Spatially averaging predictors during RF training allows for prior-day thermodynamic and kinematic environments to generate skillful forecasts, while time-lagging acts to expand the forecast areas, increasing resolution but decreasing objective skill. The results highlight the utility of ML-generated products to aid SPC forecast operations into the medium range.

研究の動機と目的

• 大気の特徴と歴史的豪雨報告との間の統計的関係を用いて、中距離豪雨脅威（4〜8日目）の機械学習ベースの予報システムを開発すること。
• 再予報データで訓練されたランダムフォレストモデルが、従来の運用展望を上回るか補完する、熟練した確率的予報を生成できるかどうかを評価すること。
• 空間平均化や時間遅れといった特徴工学技術の、予報精度とキャリブレーションに与える影響を評価すること。
• ストーム予報センター（SPC）の作業員が、予報のリードタイムを延ばし、一貫性を高めるために、MLによって生成された支援情報をどのように活用できるかを検討すること。
• 順列重要度やSHAP値といった技術を用いてMLモデルの解釈可能性を向上させ、運用プロセスへの信頼性と統合性を高めること。

提案手法

• GEFSv12再予報データセット（GEFS/R）と歴史的豪雨報告を用いて、約9年分のデータでランダムフォレスト（RF）モデルを訓練し、大気の特徴と豪雨発生との間の統計的関係を学習する。
• 訓練中に予報子の空間平均化を実施し、前日までの熱力学的・力学的環境を組み込むことで、予報精度を向上させる。
• 時間遅れを適用することで、時間経過に伴い有効なアンサンブルサイズを拡大し、予報カバー範囲と解像度を向上させる。
• 訓練済みRFモデルの妥当性を確認するため、約1.5年分のリアルタイムGEFSv12アンサンブル出力を用いて、SPOが作成した人為的展望と比較する。
• Brierスコアや信頼性図といった確率的指標を用いて、特に低確率閾値におけるキャリブレーションに注目して、予報性能を評価する。
• 順列重要度やSHAP値といった技術を用いて、モデルの解釈可能性を検討し、特徴の寄与度を理解し、透明性を高める。

実験結果

リサーチクエスチョン

• RQ1 再予報データで訓練されたランダムフォレストモデルは、気候論的基準および運用上のSPO展望と比較して、中距離（4〜8日目）の確率的豪雨予報を熟練して生成できるか？
• RQ2 空間平均化や時間遅れといった特徴工学技術は、RFベースの豪雨予報の精度とキャリブレーションにどのように影響を与えるか？
• RQ3 RFベースの予報は、4日目および5日目に人為的SPO展望と同等か、それ以上に性能を発揮するか？
• RQ4 特に低確率閾値における確率的予報はどの程度キャリブレーションされているか？これは運用上の有用性にどのような含意をもたらすか？
• RQ5 SHAP や順列重要度といった解釈可能性手法は、MLによる支援情報の信頼性とSPCの予報運用への統合を高められるか？

主な発見

• RFベースの予報は、4日目および5日目に気候論的基準を上回る精度を示し、同じリードタイムにおける人為的SPO展望の性能と同等であった。
• モデルは豪雨発生をやや低予測する傾向を示したが、低確率閾値においても良好にキャリブレーションされており、信頼性の高い確率的出力であることが示された。
• 訓練段階での予報子の空間平均化により、前日までの大気環境を組み込むことで、予報精度が向上し、豪雨の予測能力が強化された。
• 時間遅れの適用により、予報解像度が向上し、脅威領域が拡大したが、客観的精度は低下した。これは、カバー範囲と正確性の間のトレードオフを示している。
• RFモデルは、8日前までに豪雨発生の一般的な位置を予測する顕著な精度を示し、中距離において決定論的GEFSv12の予報を上回った。
• 本研究は、MLによって生成された統計的支援情報が、SPOの予報運用を、リードタイムの延長、一貫性の向上、および中距離展望に対する信頼性の向上という観点から強化する可能性を示している。