[論文レビュー] Deep Learning for Day Forecasts from Sparse Observations

Marcin Andrychowicz, Lasse Espeholt+6 more|arXiv (Cornell University)|Jun 6, 2023

Meteorological Phenomena and Simulations被引用数 40

ひとこと要約

MetNet-3は、観測に基づくニューラルウェザーモデルで、denseおよびsparse観測の双方から学習し、出力を密化して、1 kmの空間解像度と2分の時間解像度で、24時間先までの降水、風、気温、露点を高解像度で予測します。

ABSTRACT

Deep neural networks offer an alternative paradigm for modeling weather conditions. The ability of neural models to make a prediction in less than a second once the data is available and to do so with very high temporal and spatial resolution, and the ability to learn directly from atmospheric observations, are just some of these models' unique advantages. Neural models trained using atmospheric observations, the highest fidelity and lowest latency data, have to date achieved good performance only up to twelve hours of lead time when compared with state-of-the-art probabilistic Numerical Weather Prediction models and only for the sole variable of precipitation. In this paper, we present MetNet-3 that extends significantly both the lead time range and the variables that an observation based neural model can predict well. MetNet-3 learns from both dense and sparse data sensors and makes predictions up to 24 hours ahead for precipitation, wind, temperature and dew point. MetNet-3 introduces a key densification technique that implicitly captures data assimilation and produces spatially dense forecasts in spite of the network training on extremely sparse targets. MetNet-3 has a high temporal and spatial resolution of, respectively, up to 2 minutes and 1 km as well as a low operational latency. We find that MetNet-3 is able to outperform the best single- and multi-member NWPs such as HRRR and ENS over the CONUS region for up to 24 hours ahead setting a new performance milestone for observation based neural models. MetNet-3 is operational and its forecasts are served in Google Search in conjunction with other models.

研究の動機と目的

• 観測に基づくニューラルネットワークが、複数の気象変数を最大24時間 aheadまで予測できることを示す。
• ドメイン全体で密な地上真値を用いず、スパースな観測から密な予報へ変換する密化法を開発する。
• CONUS全域で、先端的な数値気象予報（ENS、HREF、HRRR、HRES）とMetNet-3を比較評価する。
• スパースデータ源を活用しつつ、低レイテンシで高空間・高時間解像度へスケールするモデルを示す。

提案手法

• 地形埋め込み、U-Netバックボーン、ローカルおよび長距離相互作用を捉えるMaxViTトランスフォーマーを備えた3部構成のMetNet-3アーキテクチャを使用する。
• トレーニング時に入力局をマスクし、空間的パラメータ共有を用いてdense予報を出力する密化を導入する。
• 降水量と地表変数の確率分布をsoftmax出力で予測し、CRPSとCSI評価を可能にするとともに、同化状態チャネルにはMSEを使用する。
• リードタイムをワンホット埋め込みとして符号化し、入力および隠れ状態に加法・乗法的に適用してリードタイムに条件づける。
• 降水量と地表変数にはクロスエントロピー損失、同化状態にはMSEを用いて学習し、複数出力の損失を調整する勾配リスケーリングを採用する。
• 大規模な時空間入力を扱うために、16 TPUコアにまたがるモデル並列を適用する。

Figure 1 : Abstract depiction of densification aspects. (a) During training a fraction of the weather stations are masked out from the input, while kept in the target. (b) To evaluate generalization to untrained locations, a set of weather stations represented by squares is never trained on and only

実験結果

リサーチクエスチョン

• RQ1 観測に基づくニューラルネットワークは、スパースな観測を用いて高解像度で複数の大気変数を最大24時間 aheadまで予測できるのか。
• RQ2 学習された密化プロセスは、疎出現地点から密な場の予報を可能にするのか。
• RQ3 MetNet-3はリードタイムと変数の観点で、 ensembleおよび決定論的NWPベースラインとどう比較されるのか。
• RQ4 リードタイム条件付けとトレーニング戦略は長距離予報の精度にどのような影響を与えるのか？],
• RQ5 key_findings":[

主な発見

• MetNet-3はInstantaneous降水量に対してCRPSでENSおよびHREFのマルチメンバー基準を超え、約19時間までCSIベースの閾値を用いた場合の中等降水で18時間までリードタイムの優位性を維持する。
• MetNet-3は複数の変数で、以前の観測ベースモデル（MetNet-2）からリードタイムの優位性を12時間から24時間へ拡張する。
• MetNet-3は降水量と地表変数の確率予測（分布全体）を提供し、リードタイム全般でENSよりCRPSが優れる。
• 密化により、降水量は1 km、地表変数は4 kmの高解像度予報を、CONUS全域に散らばる942地点のスパース観測から実現する。
• モデルは高い時間解像度（2分）とリーディングタイムあたりほぼ1秒の運用レイテンシを達成し、Google検索で予報を提供する。
• トレーニングでは地上局のランダムマスキング戦略と長期リードの性能を向上させる特定のリードタイムサンプリング方式を採用する。

Figure 2 : Case study for Sat Apr 23 2022 12:00 UTC featuring the Rocky Mountains of Colorado showing the mean of the ENS and MetNet-3 6 hour wind speed forecasts (top, left and center) along with the OMO stations ground truth (top, right) and the error of ENS and MetNet-3 on the individual weather