[論文レビュー] SwinVRNN: A Data-Driven Ensemble Forecasting Model via Learned Distribution Perturbation

Yuan Hu, Lei Chen+2 more|arXiv (Cornell University)|May 26, 2022

Meteorological Phenomena and Simulations被引用数 4

ひとこと要約

SwinVRNN は、Swin Transformer をベースとする再帰的ニューラルネットワーク（SwinRNN）と、変分推論に基づく摂動モジュールを組み合わせたデータ駆動型の確率的気象予報モデルであり、アンサンブル予報のための空間的に適応する多変量正規分布を学習する。WeatherBench において最先端の性能を達成し、5日間までの全予報リードタイムで、2m気温と6時間ごとの降水量予報において、運用中の ECMWF IFS モデルを上回る予報精度を示した。

ABSTRACT

Data-driven approaches for medium-range weather forecasting are recently shown extraordinarily promising for ensemble forecasting for their fast inference speed compared to traditional numerical weather prediction (NWP) models, but their forecast accuracy can hardly match the state-of-the-art operational ECMWF Integrated Forecasting System (IFS) model. Previous data-driven attempts achieve ensemble forecast using some simple perturbation methods, like initial condition perturbation and Monte Carlo dropout. However, they mostly suffer unsatisfactory ensemble performance, which is arguably attributed to the sub-optimal ways of applying perturbation. We propose a Swin Transformer-based Variational Recurrent Neural Network (SwinVRNN), which is a stochastic weather forecasting model combining a SwinRNN predictor with a perturbation module. SwinRNN is designed as a Swin Transformer-based recurrent neural network, which predicts future states deterministically. Furthermore, to model the stochasticity in prediction, we design a perturbation module following the Variational Auto-Encoder paradigm to learn multivariate Gaussian distributions of a time-variant stochastic latent variable from data. Ensemble forecasting can be easily achieved by perturbing the model features leveraging noise sampled from the learned distribution. We also compare four categories of perturbation methods for ensemble forecasting, i.e. fixed distribution perturbation, learned distribution perturbation, MC dropout, and multi model ensemble. Comparisons on WeatherBench dataset show the learned distribution perturbation method using our SwinVRNN model achieves superior forecast accuracy and reasonable ensemble spread due to joint optimization of the two targets. More notably, SwinVRNN surpasses operational IFS on surface variables of 2-m temperature and 6-hourly total precipitation at all lead times up to five days.

研究の動機と目的

• 既存のデータ駆動型気象予報モデルが固定またはヒューリスティックな摂動手法に依存するため、アンサンブル性能が最適でないという問題に対処すること。
• エンド・トゥ・エンドの学習により、決定論的予測と不確実性の定量化を同時に最適化する確率的気象予報モデルを開発すること。
• 学習された空間的に適応する摂動が、固定分布やモンテカルロドロップアウト法と比較して、アンサンブルの分散と予報精度を向上させるかを調査すること。
• 1つのディープラーニングモデルに変分摂動モジュールを組み込むことで、ECMWF IFS のような運用中のNWPシステムを、主要な地表面変数の予報精度において上回ることを実証すること。

提案手法

• Swin Transformer ブロックをベースとするスウィンRNNバックボーンを採用し、マルチスケールのデコーダーと残留予測を組み合わせることで、長距離の時空間モデリングを可能にした。
• 変分オートエンコーダー（VAE）を模倣した摂動モジュールが、履歴データから時変な多変量正規分布を、確率的潜在変数の上に学習する。
• アンサンブル予報は、学習された潜在分布からノイズをサンプリングし、推論時にSwinRNNの隠れ特徴に注入することで生成される。
• 4つの摂動戦略を比較した：固定分布（標準正規分布）、学習された分布（SwinVRNN）、モンテカルロドロップアウト、マルチモデルアンサンブル。
• 再構成損失とKLダイバージェンスを同時に最適化することで、正確な予測と意味のある不確実性表現の両方を保証する。
• 中距離気象予報の標準指標を用いて、WeatherBench データセット上でモデルを学習および評価した。

実験結果

リサーチクエスチョン

• RQ1 学習された空間的に適応する摂動戦略を有するデータ駆動型モデルは、固定分布やMCドロップアウト法と比較して、アンサンブル予報精度を上回ることができるか？
• RQ2 決定論的予測と確率的不確実性モデリングを同時に最適化することで、より優れた予報スキルと信頼性のあるアンサンブル分散が得られるか？
• RQ3 変分摂動モジュールを備えた1つのディープラーニングモデルが、主要な地表面変数の予報精度において、運用中のECMWF IFSモデルを上回ることができるか？
• RQ4 学習された摂動分布に空間的共分散を組み込むことで、等方的または対角ノイズと比較して、予報性能にどのような影響を与えるか？

主な発見

• 予測と不確実性モデリングの共同最適化のおかげで、SwinVRNN は固定分布やMCドロップアウト法と比較して、より優れた予報精度とより現実的なアンサンブル分散を達成した。
• 学習された分布摂動法は、特に異なる地域や変数における大気の不確実性の空間的変動を捉える点で、アンサンブル性能を顕著に向上させた。
• SwinVRNN は、5日間までの全リードタイムで、2m気温（T2M）および6時間ごとの降水量（TP）の予報において、運用中のECMWF IFSモデルを上回った。
• SwinVRNN のマルチモデルアンサンブルはさらに予報スキルを向上させ、本アプローチのスケーラビリティを示した。
• 訓練期間内を含め、全評価リードタイムで一貫した改善が見られ、汎化性能の高さが裏付けられた。
• 摂動モジュールは、学習された共分散行列の構造と性能向上の両面から、大気変数における複雑な空間相関を効果的にモデル化していることが示された。