[論文レビュー] Benchmark Dataset for Precipitation Forecasting by Post-Processing the Numerical Weather Prediction

Taehyeon Kim, Namgyu Ho+2 more|arXiv (Cornell University)|Jun 30, 2022

Meteorological Phenomena and Simulations被引用数 6

ひとこと要約

本論文では、深層学習を用いて数値的気象予報（NWP）出力の後処理を行うことで降水予報の精度を向上させるためのベンチマークデータセットKoMetを紹介する。自動気象観測所（AWS）の真値降水量を用いてGDAPS-KIM NWP出力で深層ニューラルネットワークを訓練することで、長期予報において特に優れた精度と解釈可能性が達成され、将来のNWPの進展とも互換性を保つ。このデータセットとオープンソースのツールは研究利用のために公開されている。

ABSTRACT

Precipitation forecasting is an important scientific challenge that has wide-reaching impacts on society. Historically, this challenge has been tackled using numerical weather prediction (NWP) models, grounded on physics-based simulations. Recently, many works have proposed an alternative approach, using end-to-end deep learning (DL) models to replace physics-based NWP models. While these DL methods show improved performance and computational efficiency, they exhibit limitations in long-term forecasting and lack the explainability. In this work, we present a hybrid NWP-DL workflow to fill the gap between standalone NWP and DL approaches. Under this workflow, the outputs of NWP models are fed into a deep neural network, which post-processes the data to yield a refined precipitation forecast. The deep model is trained with supervision, using Automatic Weather Station (AWS) observations as ground-truth labels. This can achieve the best of both worlds, and can even benefit from future improvements in NWP technology. To facilitate study in this direction, we present a novel dataset focused on the Korean Peninsula, termed KoMet (Korea Meteorological Dataset), comprised of NWP outputs and AWS observations. For the NWP model, the Global Data Assimilation and Prediction Systems-Korea Integrated Model (GDAPS-KIM) is utilized. We provide analysis on a comprehensive set of baseline methods aimed at addressing the challenges of KoMet, including the sparsity of AWS observations and class imbalance. To lower the barrier to entry and encourage further study, we also provide an extensive open-source Python package for data processing and model development. Our benchmark data and code are available at https://github.com/osilab-kaist/KoMet-Benchmark-Dataset.

研究の動機と目的

• 長期間予報および解釈可能性に欠ける単独の深層学習モデルやNWPモデルの限界を克服すること。
• 物理的ベースのNWP出力と教師あり深層学習を組み合わせたハイブリッドNWP-DLワークフローを構築し、洗練された降水予報を実現すること。
• NWPの後処理における研究を促進するために、包括的で公開可能なベンチマークデータセットとオープンソースのツールを提供すること。
• 朝鮮半島の複雑な地形とモンスーン気候を考慮し、希なAWS観測とクラスの不均衡といった課題を分析すること。

提案手法

• 本手法は、深層ニューラルネットワークの入力特徴としてGDAPS-KIM NWPモデル出力を用い、自動気象観測所（AWS）の時間分解能1時間の降水量観測値を教師ラベルとして教師あり学習を実施する。
• NWP出力を深層学習モデルで後処理することで、洗練された降水予報を実現するハイブリッドNWP-DLワークフローを提案する。
• KoMetデータセットには、朝鮮半島全域の50×65グリッド（12km解像度）のNWP出力と484か所のAWS観測所のデータが含まれ、2020年7月～2021年8月の期間をカバーする。
• CSI、精度、バイアスなどの指標を用いて、ConvLSTM や U-Net などのベースラインモデルを評価し、空間的モデリングとカテゴリー閾値のアブレーションスタディを実施する。
• 雨の強度（例：弱い雨、やや強い雨、強い雨）に応じたカスタマイズ可能なカテゴリー閾値をフレームワークがサポートしており、降水カテゴリの柔軟な評価が可能である。
• データ処理、モデル学習、評価を簡素化するためのオープンソースPythonパッケージを提供し、研究者の参入障壁を低く抑える。

実験結果

リサーチクエスチョン

• RQ1 NWP出力を深層学習で後処理することで、単独のNWPモデルやDLモデルと比較して、降水予報の精度がどの程度向上するか？
• RQ2 深層学習アーキテクチャに空間的・時間的モデリングを組み込むことで、希な観測と不均衡な降水データにおいて予報性能がどの程度向上するか？
• RQ3 特に朝鮮半島のモンスーン期において、異なるリードタイムや月ごとのモデル一般化性能はどのように変化するか？
• RQ4 降水量強度の異なるカテゴリー閾値が、モデル性能と指標解釈に与える影響は何か？
• RQ5 点単位のアプローチに比べ、NWP出力の補正において深層学習アーキテクチャにおける空間的モデリングはどの程度有効か？

主な発見

• ハイブリッドNWP-DLアプローチは、降水予報性能を顕著に向上させ、ConvLSTMは弱い雨に対してCSIが0.296、強い雨に対してバイアスが0.006を達成した。
• 複数のカテゴリー閾値（例：V4で6クラス）を用いて学習したモデルは、ベースラインと比較して強い雨のCSIが3.2%上昇（0.032）したが、弱い雨のCSIはわずかに低下した。
• 空間的モデリングは不可欠である：点単位のアーキテクチャでは弱い雨のCSIがたった0.195にとどまり、ConvLSTMの0.296に比べ顕著に劣る。
• 冬季には降水量が少ないため性能が低下し、年間平均雨量のCSIは約0.3であるが、強い雨のイベントが稀なため、強い雨のCSIは急激に低下した。
• リードタイムごとのCSI曲線は、観測された雨の割合と類似した変曲点を示しており、モデルが時間的予報期間と降水頻度に敏感であることが示された。
• フレームワークは柔軟な閾値設定を可能としており、中間の雨の強度カテゴリを増やすことで強い雨のCSIを向上させられるが、その代わりに弱い雨の性能がわずかに低下する可能性がある。