[論文レビュー] Simple Baseline for Weather Forecasting Using Spatiotemporal Context Aggregation Network

Minseok Seo, Doyi Kim+4 more|arXiv (Cornell University)|Dec 6, 2022

Flood Risk Assessment and Management被引用数 4

ひとこと要約

本論文は、複数モデルアンサンブルや微調整を一切用いず、衛星画像と3D-CNNのみを用いた短時間降水予測のためのシンプルで効果的な時空間的文脈集約ネットワーク、SIANetを提案する。カーネル分解と新規の時空間的精製モジュールを活用することで、W4C'22ベンチマークの5つ中4つで最先端性能を達成し、深層学習を用いた気象予測において、単純さが複雑さを凌駕できることを示している。

ABSTRACT

Traditional weather forecasting relies on domain expertise and computationally intensive numerical simulation systems. Recently, with the development of a data-driven approach, weather forecasting based on deep learning has been receiving attention. Deep learning-based weather forecasting has made stunning progress, from various backbone studies using CNN, RNN, and Transformer to training strategies using weather observations datasets with auxiliary inputs. All of this progress has contributed to the field of weather forecasting; however, many elements and complex structures of deep learning models prevent us from reaching physical interpretations. This paper proposes a SImple baseline with a spatiotemporal context Aggregation Network (SIANet) that achieved state-of-the-art in 4 parts of 5 benchmarks of W4C22. This simple but efficient structure uses only satellite images and CNNs in an end-to-end fashion without using a multi-model ensemble or fine-tuning. This simplicity of SIANet can be used as a solid baseline that can be easily applied in weather forecasting using deep learning.

研究の動機と目的

• 複雑なトレーニングパイプラインを避ける、短時間気象予測のためのシンプルで効率的な深層学習ベースラインの開発。
• 複数モデルアンサンブル、微調整、およびNWPや地理座標などの補助データへの依存を低減すること。
• 3D-CNNとエンド・トゥ・エンド学習に限定して、気象予測における時空間モデリングを向上させること。
• 最小限のアーキテクチャにカーネル分解と文脈集約を組み合わせることで、最先端の結果を達成できることを示すこと。

提案手法

• SIANetは、緯度・経度や地形などの追加静的データを一切使用せず、衛星画像（11バンドのスペクトルバンド）のみを入力とする。
• モデルは3D畳み込み層のみで構築され、FLOPsを削減するためにカーネル分解を用い、3Dフィルタを2D空間的および1D時間的成分に分解する。
• 長距離の空間的および時間的依存性を学習する能力を高めるために、基本ブロックとして大規模な空間的文脈集約モジュールを導入する。
• マルコフ連鎖を想起させる時空間的精製モジュールを用い、エンド・トゥ・エンドの方法で時間ステップごとに予測を精製する。
• ラジアル反射率から導出された降雨強度マップを用いて、バイナリクロスエントロピー損失でエンド・トゥ・エンドに学習する。
• アブレーションスタディにより、各コンポonent（しきい値処理、センタークロッピング、時空間モジュール、大規模文脈集約モジュール）の寄与度が検証された。

実験結果

リサーチクエスチョン

• RQ1 複数モデルアンサンブルや微調整を一切用いず、3D-CNNベースのシンプルなモデルが気象予測で最先端性能を達成できるか？
• RQ2 3D-CNNを用いた気象予測において、FLOPsを削減しながら性能を維持するためのカーネル分解の有効性はどの程度か？
• RQ3 大規模な空間的文脈集約モジュールは、短時間の降水量予測における時空間モデリングをどの程度向上できるか？
• RQ4 標準の回帰ヘッドと比較して、エンド・トゥ・エンドの時空間的精製モジュールは予測精度をどの程度向上させるか？
• RQ5 NWP出力などの補助データに依存する複雑なモデルと比較して、衛星データのみで学習したモデルが優れた性能を発揮できるか？

主な発見

• SIANetはW4C'22チャレンジの5つのベンチマークのうち4つで最先端性能を達成し、最良の設定でmIoUが0.465を記録した。
• アブレーションスタディの結果、センタークロッピング、STM、LCAMなどのコンポーネントを順次追加することで、ベースラインから最大12.7パーセンテージポイントのmIoU向上が達成された。
• モデルは時間ステップごとに動的な予測行動を示し、8時間予報範囲の各ステップで一貫した異なる出力を生成した。
• 定性的な結果から、モデルは雲の移動パターンを正しく捉えており、嵐の進行方向に合わせて予測が時間経過とともに変化していることが確認された。
• 強力な性能を発揮したが、雨量分類においては弱い性能を示し、0.2 mm/hのしきい値以下の弱い雨～中程度の雨を過剰に予測していた。今後の研究では多クラス分類または回帰損失の導入が求められる。
• カーネル分解の導入により、FLOPsが顕著に削減された一方で高い性能を維持しており、大規模な気象データ学習に有効であることが実証された。