[論文レビュー] Generative Data Assimilation of Sparse Weather Station Observations at Kilometer Scales

Peter Manshausen, Yair Cohen+8 more|arXiv (Cornell University)|Jun 19, 2024

Meteorological Phenomena and Simulations被引用数 4

ひとこと要約

本論文は、3km解像度の疎な気象観測所観測値に対する生成的データ同調統合のためのスコアベースの拡散モデルを提案する。これにより、高速でスケーラブルかつ物理的に妥当な表面風および降水量場の再構成が可能となる。左側の観測所において、運用中のHRRRシステムよりも10%低いRMSEを達成しており、再訓練を伴わず低遅延のkmスケールアンサンブル再解析の有望なプロトタイプを示している。

ABSTRACT

Data assimilation of observational data into full atmospheric states is essential for weather forecast model initialization. Recently, methods for deep generative data assimilation have been proposed which allow for using new input data without retraining the model. They could also dramatically accelerate the costly data assimilation process used in operational regional weather models. Here, in a central US testbed, we demonstrate the viability of score-based data assimilation in the context of realistically complex km-scale weather. We train an unconditional diffusion model to generate snapshots of a state-of-the-art km-scale analysis product, the High Resolution Rapid Refresh. Then, using score-based data assimilation to incorporate sparse weather station data, the model produces maps of precipitation and surface winds. The generated fields display physically plausible structures, such as gust fronts, and sensitivity tests confirm learnt physics through multivariate relationships. Preliminary skill analysis shows the approach already outperforms a naive baseline of the High-Resolution Rapid Refresh system itself. By incorporating observations from 40 weather stations, 10% lower RMSEs on left-out stations are attained. Despite some lingering imperfections such as insufficiently disperse ensemble DA estimates, we find the results overall an encouraging proof of concept, and the first at km-scale. It is a ripe time to explore extensions that combine increasingly ambitious regional state generators with an increasing set of in situ, ground-based, and satellite remote sensing data streams.

研究の動機と目的

• 疎な気象観測所データを用いて、高解像度の大気状態をスケーラブルかつ低遅延で初期化する手法の開発。
• スコアベースの拡散モデルがkmスケールの再解析データから物理的に妥当な大気力学を学習できるかの評価。
• モデルが再訓練を伴わず新たな観測に適応できることを示し、多様なデータストリームの柔軟な同調統合を可能にする。
• HRRRのような運用ベンチマークと比較して、生成された場の精度、特に降水量および表面風の推定精度を評価する。
• 生成モデルが複雑で計算コストの高いデータ同調パイプラインの代用としての可能性を検討する。

提案手法

• 高解像度迅速再解析（HRRR）再解析データセットからのスナップショットを事前学習することで、3km解像度の表面場を生成する拡散モデルを構築する。
• スコアベースのデータ同調統合（SDA）を用い、ノイズ除去スコア関数を介して、疎な気象観測所観測値に条件づけた拡散モデルを適用する。
• SDAフレームワークは、ノイズスケジュールとノイズ除去ネットワークを用い、観測データと整合性を持つように反復的に生成場を改善する。
• 予測スコアがノイズ付きデータ分布の真のスコアと一致するように、損失関数を最小化するようにモデルを学習する。
• 観測不確実性は対角行列 $\sqrt{\Sigma_y}$ を用いてモデル化され、実験的に最適化された値が使用される。
• 異なるノイズ除去ステップ数および補正イテレーション数での推論が可能であり、精度と速度のトレードオフを実現できる。

Figure 1: Denoiser training and data assimilation with SDA. a) During the training of the denoiser, noise is added to the training data at different levels, parameterized by time $t\in[0,1]$ . The training objective for the denoiser $D$ is to reconstruct the training data, given the noisy state and

実験結果

リサーチクエスチョン

• RQ1 再解析データで学習した拡散モデルは、疎な観測に条件づけられた場合に、物理的に妥当な3kmスケールの表面天気場を生成できるか？
• RQ2 モデルは、風と降水量の間のような大気力学に整合する多次元的関係を学習しているか？
• RQ3 再訓練を伴わず、未知の観測所においても運用中のHRRRシステムを上回る精度を達成できるか？
• RQ4 ノイズスケジュールや補正ステップ数などのハイパーパrameterの変更に伴い、モデルの性能はどのように変化するか？
• RQ5 このフレームワークは、地上観測および人工衛星データを含む多様な観測ストリームの統合に拡張可能か？

主な発見

• モデルは、ガストフロントなどの特徴を含む、物理的に妥当な3km解像度の表面風および降水量場を効果的に生成した。
• 感度テストにより、モデルが大気力学に整合する多次元的関係を捉えていることが確認された。
• 左側の観測所において、モデルは運用中のHRRRシステムよりも10%低いRMSEを達成しており、性能向上が示された。
• モデルは新たな観測に対して頑健であり、再訓練を必要とせず、新しいデータストリームへの迅速な適応が可能である。
• アンサンブルスプレッドに若干の制限があるものの、kmスケールにおける生成的データ同調統合の最初の成功事例としての証明が得られた。
• ハイパーパrameterチューニングの結果、特に降水量の推定において、$\Gamma$（0.001）を低くし、ノイズ除去ステップ数を増やすことで性能が向上した。

Figure 2: Assimilating increasingly sparse and noisy data. Columns show the different variables 10u, 10v, and tp for different study cases. In row one, we show HRRR data of 2017-05-28 03:00 UTC. Rows two and three show this data subsampled to 1.6% and 0.3%, respectively, in a regular grid (shown as