[論文レビュー] TempEE: Temporal-Spatial Parallel Transformer for Radar Echo Extrapolation Beyond Auto-Regression

Shengchao Chen, Ting Shu+3 more|arXiv (Cornell University)|Apr 27, 2023

Meteorological Phenomena and Simulations被引用数 8

ひとこと要約

TempEE は、時間的・空間的エンコーダと時間空間デコーダを備えた自己回帰ではないワンステップの Transformer モデルを導入し、レーダー反響を外挿することで非定常運動とまばらな反射を克服します。

ABSTRACT

Meteorological radar reflectivity data (i.e. radar echo) significantly influences precipitation prediction. It can facilitate accurate and expeditious forecasting of short-term heavy rainfall bypassing the need for complex Numerical Weather Prediction (NWP) models. In comparison to conventional models, Deep Learning (DL)-based radar echo extrapolation algorithms exhibit higher effectiveness and efficiency. Nevertheless, the development of reliable and generalized echo extrapolation algorithm is impeded by three primary challenges: cumulative error spreading, imprecise representation of sparsely distributed echoes, and inaccurate description of non-stationary motion processes. To tackle these challenges, this paper proposes a novel radar echo extrapolation algorithm called Temporal-Spatial Parallel Transformer, referred to as TempEE. TempEE avoids using auto-regression and instead employs a one-step forward strategy to prevent cumulative error spreading during the extrapolation process. Additionally, we propose the incorporation of a Multi-level Temporal-Spatial Attention mechanism to improve the algorithm's capability of capturing both global and local information while emphasizing task-related regions, including sparse echo representations, in an efficient manner. Furthermore, the algorithm extracts spatio-temporal representations from continuous echo images using a parallel encoder to model the non-stationary motion process for echo extrapolation. The superiority of our TempEE has been demonstrated in the context of the classic radar echo extrapolation task, utilizing a real-world dataset. Extensive experiments have further validated the efficacy and indispensability of various components within TempEE.

研究の動機と目的

• レーダー反響から短期降水予測を動機付け、コストの高い NWP モデルの有効な代替手段とする。
• Dense および sparse なレーダー反響と非定常運動を扱える Transformer ベースのフレームワークを開発する。
• 外挿の累積誤差を回避するため、ワンステップ前方戦略と特化したアテンション機構を使用する。
• マルチレベルの時空間アテンションによる軽量なグローバル-ローカルの反響表現を提供し、予測精度を高める。

提案手法

• TempEE を三要素で提案する：Temporal Encoder (TE)、Spatial Encoder (SE)、Temporal-Spatial Decoder (TSD)。
• Temporal Multi-Level Multi-Head Self-Attention (Temporal MHSA) を重み共有付きで使用し、時間的相関を効率的に捉える。
• 並列の Temporal Encoder と Spatial Encoder を用いて非定常運動とスパースな反射分布をモデル化する。
• TSD で Reverse Random Sampling を導入し長期ダイナミクスの学習を促進し、Multi-level Spatio-Temporal Attention (MSTA) を用いて特徴を洗練する。
• 複雑さを O(h^2 w^2) から O(h w g^2 + h^2 w^2 / g'^2) に削減する軽量な Multi-Level Multi-Head Self-Attention (MSTA) を採用する。
• 実世界のレーダー反響データセットで訓練・評価を行い、ベースライン DL および伝統的手法と比較する。

実験結果

リサーチクエスチョン

• RQ1 TempEE はレーダー反響予測で自己回帰外挿法を上回ることができるか。
• RQ2 時間エンコーダと空間エンコーダは非定常運動とスパースな反射にどのように寄与するか。
• RQ3 Reverse Random Sampling と Multi-Level Spatio-Temporal Attention は長期ダイナミクスの把握と予測品質を改善するか。
• RQ4 このタスクにおける従来の MHSA と比較して MSTA の計算効率の利点はどの程度か。

主な発見

• TempEE は実データ上で自己回帰ベースのモデルより外挿精度が高い。
• Parallel TE-SE エンコーダ構造は、密度の高い反響とまばらな反響の両方に対する時間的・空間的相関を効果的に捉える。
• Reverse Random Sampling と MSTA を備えた TSD はグローバル-ローカル情報の抽出と長期ダイナミクス学習を強化する。
• MSTA は MHSA に比べて計算コストを大幅に削減し、レーダー反響外挿をより効率的に可能にする。