[論文レビュー] AIFS-CRPS: Ensemble forecasting using a model trained with a loss function based on the Continuous Ranked Probability Score

Simon Lang, Mihai Alexe+16 more|arXiv (Cornell University)|Dec 20, 2024

Forecasting Techniques and Applications被引用数 6

ひとこと要約

AIFS-CRPS は probabilistic afCRPS 損失を用いて機械学習によるアンサンブル予測モデルを訓練し、交換可能なアンサンブルメンバーを生成する。これにより、物理ベースの IFS アンサンブルと比較して、中期予測および subseasonal スキルが競合的または優位になる。

ABSTRACT

Over the last three decades, ensemble forecasts have become an integral part of forecasting the weather. They provide users with more complete information than single forecasts as they permit to estimate the probability of weather events by representing the sources of uncertainties and accounting for the day-to-day variability of error growth in the atmosphere. This paper presents a novel approach to obtain a weather forecast model for ensemble forecasting with machine-learning. AIFS-CRPS is a variant of the Artificial Intelligence Forecasting System (AIFS) developed at ECMWF. Its loss function is based on a proper score, the Continuous Ranked Probability Score (CRPS). For the loss, the almost fair CRPS is introduced because it approximately removes the bias in the score due to finite ensemble size yet avoids a degeneracy of the fair CRPS. The trained model is stochastic and can generate as many exchangeable members as desired and computationally feasible in inference. For medium-range forecasts AIFS-CRPS outperforms the physics-based Integrated Forecasting System (IFS) ensemble for the majority of variables and lead times. For subseasonal forecasts, AIFS-CRPS outperforms the IFS ensemble before calibration and is competitive with the IFS ensemble when forecasts are evaluated as anomalies to remove the influence of model biases.

研究の動機と目的

• 天気予測における確率的で機械学習によるアンサンブル予測の必要性を動機づける。
• 連続順位付き予測スコアの変種で訓練されたアンサンブル予測モデル（AIFS-CRPS）を開発し、不確実性をより良く表現する。
• AIFS-CRPS の IFS アンサンブルに対する中期予測・ subseasonal 予測での性能を評価する。

提案手法

• ground-truth の決定論的状態（ERA5 または IFS analysis）を用いた確率的訓練で AIFS アーキテクチャを拡張する。
• octahedral reduced Gaussian grid フレームワーク内のトランスフォーマー型エンコーダ/デコーダを用いて 16 層のプロセッサを使用する。
• finite アンサンブルサイズのバイアス補正とスコアの退化を回避するため Almost Fair CRPS（afCRPS）で訓練する。
• 各メンバーごとに独立したガウスノイズ入力を用いてアンサンブルメンバーを表現し、GPU間でアンサンブルシャーディングを行い規模を拡張する。
• 訓練時および推論時にオート回帰的ロールアウトを用い、72 時間以上の多段予測を模擬する。
• cosine 学習率スケジュールと段階的なロールアウト長を持つ4 段階の訓練スキームを採用し、afCRPS に基づく損失を用いる。

Figure 1: Probabilistic training of AIFS-CRPS. A small ensemble of atmospheric states is propagated forward in time using separate model instances (that share the same weights). With ensemble sharding (see section 2.4 ), the ensemble forecasts are then gathered across all participating GPU devices u

実験結果

リサーチクエスチョン

• RQ1 AIFS-CRPS は CRPS ベースの損失を通じてモデルの不確実性を表現する学習により、確率的予測を信頼性の高いものとして提供できるか。
• RQ2 AIFS-CRPS は中期予測において、複数の変数とリードタイムに対して物理ベースの IFS アンサンブルと比較してどの程度の性能を示すか。
• RQ3 AIFS-CRPS は極端なイベントに対して過度な平滑化や過分散を招くことなく、アンサンブルの変動性を維持できるか。
• RQ4 ロスのグリッド解像度、アンサンブルサイズ、圧力スケーリングの影響が予測スキルとスプレッドにどのような影響を与えるか。
• RQ5 Raw フィールドとして評価した場合および異常値として評価した場合、subseasonal 予測に対して AIFS-CRPS は競争力を持つか。

主な発見

• AIFS-CRPS のアンサンブルはリードタイムに対して現実的な変動性を保ち、MSE 訓練モデルで見られる平滑化を回避する。
• IFS アンサンブルと比較して、多くの中期変数で AIFS-CRPS が競合的または優れており、CRPS と RMSE の向上がいくつかの地域で見られる。
• 高解像度の AIFS-CRPS（N320）は、多くの地表変数で低解像度設定（O96）よりもスキルが高い傾向を示すが、圧力スケーリングの選択により一部の上 atmosphere 変数は劣化を示す。
• 2–3 週のリードタイムで多くの地表および対流圏パラメータに対して IFS より subseasonal スキル改善を示し、異常に基づく評価は持続的な利益を示す。
• Method は ensemble mean の相関と RMSE などいくつかの指標で IFS より優れた予報特性とアンサンブル挙動を示す。
• 全体として、AIFS-CRPS は Extra-tropics でより大きく、時にはより良く校正されたアンサンブルスプレッドを生成し、多くの場合で IFS アンサンブルを凌駕し得る一方で、適切なアンサブル統計を維持する。

(a)