[논문 리뷰] TempEE: Temporal-Spatial Parallel Transformer for Radar Echo Extrapolation Beyond Auto-Regression

Shengchao Chen, Ting Shu외 3명|arXiv (Cornell University)|2023. 04. 27.

Meteorological Phenomena and Simulations인용 수 8

한 줄 요약

TempEE는 시계열 및 공간 인코더와 시계열-공간 디코더를 갖춘 한 단계의 비자동회귀 Transformer 모델을 도입하여 비정상 모션과 희박한 에코를 해결하며 레이다 에코를 외삽한다.

ABSTRACT

Meteorological radar reflectivity data (i.e. radar echo) significantly influences precipitation prediction. It can facilitate accurate and expeditious forecasting of short-term heavy rainfall bypassing the need for complex Numerical Weather Prediction (NWP) models. In comparison to conventional models, Deep Learning (DL)-based radar echo extrapolation algorithms exhibit higher effectiveness and efficiency. Nevertheless, the development of reliable and generalized echo extrapolation algorithm is impeded by three primary challenges: cumulative error spreading, imprecise representation of sparsely distributed echoes, and inaccurate description of non-stationary motion processes. To tackle these challenges, this paper proposes a novel radar echo extrapolation algorithm called Temporal-Spatial Parallel Transformer, referred to as TempEE. TempEE avoids using auto-regression and instead employs a one-step forward strategy to prevent cumulative error spreading during the extrapolation process. Additionally, we propose the incorporation of a Multi-level Temporal-Spatial Attention mechanism to improve the algorithm's capability of capturing both global and local information while emphasizing task-related regions, including sparse echo representations, in an efficient manner. Furthermore, the algorithm extracts spatio-temporal representations from continuous echo images using a parallel encoder to model the non-stationary motion process for echo extrapolation. The superiority of our TempEE has been demonstrated in the context of the classic radar echo extrapolation task, utilizing a real-world dataset. Extensive experiments have further validated the efficacy and indispensability of various components within TempEE.

연구 동기 및 목표

• 비용이 많이 드는 NWP 모델의 효율적인 대안으로서 레이더 에코로부터 단기 강수 예측의 필요성을 제기한다.
• 밀집 및 희박한 레이더 에코와 비정상 모션을 처리할 수 있는 Transformer 기반 프레임워크를 개발한다.
• 한 단계 앞으로의 전략과 특수한 어텐션 메커니즘을 사용하여 외삽에서 누적 오차를 피한다.
• 다단계 시공간 주의를 통한 경량의 글로벌-로컬 에코 표현을 제공하여 예측 정확도를 향상시킨다.

제안 방법

• TE(Temporal Encoder), SE(Spatial Encoder), TSD(Temporal-Spatial Decoder)로 구성된 TempEE를 제안한다.
• 가중치 공유를 통한 Temporal Multi-Level Multi-Head Self-Attention(Temporal MHSA)을 사용하여 시간적 상관관계를 효율적으로 포착한다.
• 비정상 모션과 희박한 에코 분포를 모델링하기 위해 병렬 Temporal Encoder와 Spatial Encoder를 사용한다.
• 장기 동역학 학습을 촉진하기 위해 TSD에서 역방향 랜덤 샘플링을 도입하고, 특징을 정제하기 위해 Multi-level Spatio-Temporal Attention(MSTA)을 사용한다.
• 복잡도를 O(h^2 w^2)에서 O(h w g^2 + h^2 w^2 / g'^2)로 감소시키는 경량의 Multi-Level Multi-Head Self-Attention(MSTA)을 채택한다.
• 실제 레이더 에코 데이터셋에 대해 학습하고, 기준 DL 및 전통적 방법과의 비교를 통해 평가한다.

실험 결과

연구 질문

• RQ1 TempEE가 레이더 에코 예측에서 자동회귀 외삽 방법보다 성능이 우수할 수 있는가?
• RQ2 시계열 인코더와 공간 인코더가 비정상 모션과 희박한 에코를 처리하는 데 어떻게 기여하는가?
• RQ3 역방향 랜덤 샘플링과 다단계 시공간 주의가 장기 동역학 학습 및 예측 품질을 향상시키는가?
• RQ4 이 작업에서 기존 MHSA와 비교할 때 MSTA의 계산 효율성 이점은 무엇인가?

주요 결과

• TempEE는 실제 레이더 에코 데이터에서 자동회귀 기반 모델보다 외삽 정확도가 더 높게 나타났다.
• 병렬 TE-SE 인코더 구조가 밀집 에코와 희박한 에코 모두에 대해 시간적 및 공간적 상관관계를 효과적으로 포착한다.
• 역방향 샘플링과 MSTA를 갖춘 TSD가 글로벌-로컬 정보 추출과 장기 동역학 학습을 강화한다.
• MSTA는 MHSA에 비해 계산 비용을 크게 감소시켜 레이더 에코 외삽을 더 효율적으로 한다.