[論文レビュー] Precipitation Forecasting via Multi-Scale Deconstructed ConvLSTM

Xinyu Xiao, Qiuming Kuang+3 more|arXiv (Cornell University)|Dec 15, 2019

Meteorological Phenomena and Simulations参考文献 25被引用数 5

ひとこと要約

本稿では、多スケールに分解されたConvLSTM（MSD-ConvLSTM）モデルを提案し、パラメータ数を削減するとともに、降水量予測における文脈的特徴の統合を向上させる。標準のConvLSTMゲートを全結合層と単一チャネル畳み込みに分解し、多スケールフィルタを統合することで、ECおよびCMデータセットにおいて優れた効率性と精度を達成し、二値および多段階の降雨予測において最先端の手法を上回る性能を示した。

ABSTRACT

Numerical Weather Prediction (NWP), is widely used in precipitation forecasting, based on complex equations of atmospheric motion requires supercomputers to infer the state of the atmosphere. Due to the complexity of the task and the huge computation, this methodology has the problems of inefficiency and non-economic. With the rapid development of meteorological technology, the collection of plentiful numerical meteorological data offers opportunities to develop data-driven models for NMP task. In this paper, we consider to combine NWP with deep learning. Firstly, to improve the spatiotemporal modeling of meteorological elements, a deconstruction mechanism and the multi-scale filters are composed to propose a multi-scale deconstructed ConvLSTM (MSD-ConvLSTM). The MSD-ConvLSTM captures and fuses the contextual information by multi-scale filters with low parameter consumption. Furthermore, an encoder-decoder is constructed to encode the features of multiple meteorological elements by deep CNN and decode the spatiotemporal information from different elements by the MSD-ConvLSTM. Our method demonstrates the data-driven way is significance for the weather prediction, which can be confirmed from the experimental results of precipitation forecasting on the European Centre Weather Forecasts (EC) and China Meteorological Forecasts (CM) datasets.

研究の動機と目的

• 時空間的気象モデリングにおける標準ConvLSTMの高い計算コストと限界的な特徴統合の問題に対処すること。
• 畳み込みゲートの構造的分解により、パフォーマンスを損なわずにConvLSTMのパラメータ数を削減すること。
• 分解されたアーキテクチャに多スケールフィルタを導入することで、文脈的特徴抽出を強化すること。
• 短時間降水量予測のための複数の気象要因を効果的に統合するエンドツーエンドのエンコーダデコーダフレームワークを設計すること。
• 数値予報（NWP）とディープラーニングを組み合わせたデータ駆動型手法の実現可能性と優位性を示すこと。

提案手法

• 2次元畳み込みを全結合層と単一チャネル畳み込みに置き換えることで、標準ConvLSTMゲートを分解し、パラメータ数を削減する。
• 異なる受容 field を持つ並列フィルタを備えた多スケール畳み込みモジュール（mConv）を導入し、複数スケールの文脈的情報を捉える。
• 入力調制ゲートにmConvを適用することで、特徴統合を強化した多スケールに分解されたConvLSTM（MSD-ConvLSTM）を提案する。
• エンコーダデコーダアーキテクチャを設計：複数気象要因入力の特徴符号化にDeepLabv3+を、時空間的デコードにMSD-ConvLSTMを採用する。
• ピクセル単位の交差エントロピー損失関数とIoUベースの損失関数を用い、ECおよびCMデータセット上でエンドツーエンドでモデルを学習する。
• 不均衡なデータセットにおけるレアな降雨イベントと一般パターンの両方の学習をバランスさせるハイブリッドトレーニング戦略を採用する。

実験結果

リサーチクエスチョン

• RQ1 ConvLSTMの畳み込み構造を分解することで、パラメータ数を削減し、性能を損なわず計算効率を向上させることができるか？
• RQ2 多スケールフィルタは、気象データにおける文脈的空間的特徴を捉える能力を向上させることができるか？
• RQ3 提案されたエンコーダデコーダアーキテクチャにMSD-ConvLSTMを組み合わせることで、従来のディープラーニングおよびNWPベースのモデルを上回る降水予測性能を達成できるか？
• RQ4 クラス不均衡のデータセット（例：希少な降雨イベントが多数存在するCMデータセット）において、モデルの性能はいかがであるか？
• RQ5 本アーキテクチャを介してNWPデータとディープラーニングを統合することで、従来の数値手法よりも高精度で効率的な予測が可能になるか？

主な発見

• FC-ConvLSTMバージョンは、標準ConvLSTMと比較してパラメータ数を3分の2に削減し、1反復あたりの推論時間を2.879 ms短縮したが、性能低下は最小限に抑えられた。
• sConv-ConvLSTMバージョンは、パラメータ数をConvLSTMの1/4にまで削減し、FC-ConvLSTMよりも性能と速度が向上した。これは、空間的文脈をより効果的に捉えられたためである。
• 分解されたConvLSTMは、ConvLSTMと同等の精度とmIoUを達成しながら、パラメータ数を1/3に削減し、1反復あたり2.767 msの推論時間短縮を達成した。
• 提案されたMSD-ConvLSTMは、すべてのバージョンを上回る性能を示し、多スケールフィルタが特徴統合と予測精度を顕著に向上させることを実証した。
• ECおよびCMデータセットにおいて、DeepLabv3+とMSD-ConvLSTMを組み合わせたエンコーダデコーダモデルは、二値および多段階の降雨予測において最高の性能を示した。特に、不均衡なCMデータセットでも同様の優位性を示した。
• 可視化結果から、SVM、FCN、およびDeepLabv3+単体の予測と比較して、MSD-ConvLSTMベースの予測は真値に著しく近いことが確認され、空間的・時間的整合性の向上が裏付けられた。