[論文レビュー] ENS-10: A Dataset For Post-Processing Ensemble Weather Forecasts

Saleh Ashkboos, Langwen Huang+6 more|arXiv (Cornell University)|Jun 29, 2022

Meteorological Phenomena and Simulations被引用数 8

ひとこと要約

本論文は、中距離予報（48時間のリードタイム）のための10メンバーの摂動アンサンブルを含む20年分の高解像度データセットであるENS-10を紹介する。このデータセットは、アンサンブル予報の後処理を改善することを可能にする。CRPSを用いた予測補正タスクと、極端な現象の精度を優先する新しいEECRPS指標を提案し、統計的およびディープラーニングモデルのベンチマークを、一貫したベースラインとオープンソースのツールを用いて実施する。

ABSTRACT

Post-processing ensemble prediction systems can improve the reliability of weather forecasting, especially for extreme event prediction. In recent years, different machine learning models have been developed to improve the quality of weather post-processing. However, these models require a comprehensive dataset of weather simulations to produce high-accuracy results, which comes at a high computational cost to generate. This paper introduces the ENS-10 dataset, consisting of ten ensemble members spanning 20 years (1998-2017). The ensemble members are generated by perturbing numerical weather simulations to capture the chaotic behavior of the Earth. To represent the three-dimensional state of the atmosphere, ENS-10 provides the most relevant atmospheric variables at 11 distinct pressure levels and the surface at 0.5-degree resolution for forecast lead times T=0, 24, and 48 hours (two data points per week). We propose the ENS-10 prediction correction task for improving the forecast quality at a 48-hour lead time through ensemble post-processing. We provide a set of baselines and compare their skill at correcting the predictions of three important atmospheric variables. Moreover, we measure the baselines' skill at improving predictions of extreme weather events using our dataset. The ENS-10 dataset is available under the Creative Commons Attribution 4.0 International (CC BY 4.0) license.

研究の動機と目的

• 機械学習モデルのアンサンブル予報後処理における訓練および評価のための標準化された高解像度アンサンブルデータセットの不足を解消すること。
• アンサンブル予報の系統的バイアスを補正することで、予報の信頼性および極端な気象現象の予測精度を向上させること。
• 極端な気象現象に重点を置いた新しいEECRPS指標とCRPSを用いた統一されたベンチマークデータセットおよび評価フレームワークを提供すること。
• オープンソースのPython API、データダウンローダー、およびJupyterノートブックを通じて、再現性のある研究およびモデル比較を可能にすること。
• 後処理を超えた幅広い応用、例えば不確実性の定量化、欠損値補填、および予報場からの診断的フィールドの学習を支援すること。

提案手法

• ENS-10データセットは、1998年から2017年までの期間にわたり、中距離数値予報シミュレーションの10メンバーの摂動アンサンブルで構成され、空間解像度は0.5°、気圧面は11層に加え地表面変数を含む。
• 大気状態は、気圧面11層および地表面における温度、ジオポテンシャル、風などの18種類の主要変数で表現され、予報時刻T=0、24、48時間での予報が含まれる。
• 後処理パイプラインは、ディープラーニングおよび統計モデルを用いてバイアスのあるアンサンブル予報を補正し、生アンサンブル出力を補正された予測分布にマッピングする。
• モデルの性能評価には、連続ランク確率スコア（CRPS）と、予測不確実性が高く気候論的乖離が著しい領域での誤差に重みを付ける新しい極端現象加重CRPS（EECRPS）を用いる。
• 変数および場所ごとに正規化処理が施される：EMOSには最小-最大スケーリング、ディープラーニングモデルにはグローバルな時系列アンサンブル統計を用いたzスコア正規化。
• ベースラインにはEMOS、MLP、LeNet、U-Net、Transformerアーキテクチャが含まれ、1つのA100 GPUで10エポック、3つのランダムシードを用いて訓練され、妥当性を確保する。

実験結果

リサーチクエスチョン

• RQ1 アンサンブルメンバー数（10対5）が、予報バイアスを補正する後処理モデルの性能に与える影響は何か？
• RQ2 EMOS、MLP、LeNet、U-Net、またはTransformerのうち、どの機械学習アーキテクチャが、Z500、T850、T2mといった異なる大気変数において最高の予報精度を達成するか？
• RQ3 新しいEECRPS指標は、標準的なCRPSと比較して、極端な気象現象の検出および予測精度をどの程度向上させるか？
• RQ4 ENS-10データセットは、多様なモデルアーキテクチャおよび設定において、後処理モデルの訓練および評価のための信頼できるベンチマークとして機能できるか？
• RQ5 ERA5再解析データセットを真値として用いる場合、ENS-10における性能評価の妥当性および信頼性に与える影響は何か？

主な発見

• Z500変数ではLeNetスタイルのモデルが最良の性能を示したが、T850およびT2mではTransformerモデルが最良の性能を示し、変数ごとにアーキテクチャの強みが顕著に現れた。
• U-Netモデルは、全指標および全変数において一貫した優れた性能を示し、大気場における空間的特徴の学習の強靭性を示した。
• EMOSは一部の実験で生アンサンブルより性能が低下し、高いばらつきを示した。これは、最適でないハイパーパrameterチューニングによる可能性が高く、初期化および最適化に敏感であることが示唆された。
• EECRPS指標は、極端な気象現象の補正を効果的に優先し、高インパクトかつ高不確実性領域での予測改善を促進するモデルを評価で高く評価した。
• アンサンブルサイズを10から5に減少させた場合、すべてのベースラインでモデル性能が低下した。これは、正確な後処理のためのアンサンブルサイズの重要性を示している。
• データセットおよび関連ツールにより、生データ、前処理、正規化、トレーニングパイプラインへの完全なアクセスが可能となり、オープンソースのPython APIおよびJupyterノートブックを通じて再現可能なトレーニングと評価が実現した。