[논문 리뷰] PTCT: Patches with 3D-Temporal Convolutional Transformer Network for Precipitation Nowcasting

Ziao Yang, Xiangrui Yang외 1명|arXiv (Cornell University)|2021. 12. 02.

Precipitation Measurement and Analysis인용 수 4

한 줄 요약

이 논문은 레이더 에코 프레임을 패치로 분할하여 CNN의 인도크티브 바이어스를 극복하고, 단기 공간-시간적 의존성을 포착하기 위해 3D-시간적 컨벌루션을 사용하는 새로운 3D-시간적 컨벌루션 트랜스포머 네트워크인 PTCT를 제안한다. 패치 기반 표현과 자동회귀 추론을 결합함으로써 레이더 에코 광저우 및 HKO-7 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성하여 고품질 강우 예측을 실현한다.

ABSTRACT

Precipitation nowcasting is to predict the future rainfall intensity over a short period of time, which mainly relies on the prediction of radar echo sequences. Though convolutional neural network (CNN) and recurrent neural network (RNN) are widely used to generate radar echo frames, they suffer from inductive bias (i.e., translation invariance and locality) and seriality, respectively. Recently, Transformer-based methods also gain much attention due to the great potential of Transformer structure, whereas short-term dependencies and autoregressive characteristic are ignored. In this paper, we propose a variant of Transformer named patches with 3D-temporal convolutional Transformer network (PTCT), where original frames are split into multiple patches to remove the constraint of inductive bias and 3D-temporal convolution is employed to capture short-term dependencies efficiently. After training, the inference of PTCT is performed in an autoregressive way to ensure the quality of generated radar echo frames. To validate our algorithm, we conduct experiments on two radar echo dataset: Radar Echo Guangzhou and HKO-7. The experimental results show that PTCT achieves state-of-the-art (SOTA) performance compared with existing methods.

연구 동기 및 목표

• CNN과 RNN의 강우 예측에서의 한계, 즉 인도크티브 바이어스와 순차적 계산 문제를 해결한다.
• 기존 트랜스포머 기반 방법에서의 단기 의존성 모델링 부족과 비자동회귀 생성 문제를 해결한다.
• 패치 기반 표현과 3D-시간적 컨벌루션을 통합하여 레이더 에코 프레임 예측 품질을 향상시킨다.
• 정확한 단기 강우 예측을 위한 고해상도, 자동회귀적 미래 레이더 에코 시퀀스 생성을 가능하게 한다.

제안 방법

• 입력 레이더 에코 프레임을 겹치지 않는 공간 패치로 분할하여 CNN의 이동 불변성과 국소성 제약을 제거한다.
• 자기주의 어텐션 메커니즘 내에서 3D-시간적 컨벌루션 연산을 적용하여 연속된 프레임 간의 단기 시간 의존성을 모델링한다.
• 학습 중 마스킹을 통합한 패치 임bedding 모듈을 사용하여 특징 표현과 강건성을 향상시킨다.
• 다중 헤드 자기주의 어텐션을 통한 공간-시간 인코더를 통합하여 장거리 공간-시간 의존성을 포착한다.
• 각 예측 프레임이 다음 프레임 생성에 피드백되는 자동회귀 추론 전략을 적용하여 시간적 일관성을 확보한다.
• 레이더 에코 시퀀스에 대한 재구성 및 예측 손실을 사용하여 모델을 엔드 투 엔드로 훈련한다.

실험 결과

연구 질문

• RQ1 표준 CNN과 비교해 패치 기반 표현이 위치에 따라 변하는 레이더 에코 운동의 모델링에 개선을 이끌 수 있는가?
• RQ2 트랜스포머 아키텍처에 3D-시간적 컨벌루션을 통합하면 레이더 에코 시퀀스에서 단기 의존성 학습이 향상되는가?
• RQ3 자동회귀 추론 전략은 생성된 레이더 에코 프레임의 품질과 시간적 일관성에 어떤 영향을 미치는가?
• RQ4 성능과 강건성의 균형을 고려할 때 최적의 패치 크기와 마스킹 비율은 무엇인가?
• RQ5 제안된 PTCT 모델이 실제 레이더 에코 데이터셋에서 기존 최신 기술 수준(SOTA) 방법보다 얼마나 뛰어나게 성능을 냈는가?

주요 결과

• PTCT는 레이더 에코 광저우 및 HKO-7 데이터셋 모두에서 최신 기술 수준 성능을 달성하였으며, 레이더 에코 광저우에서 SSIM은 0.907, CSI는 0.531을 기록하였다.
• 20×20 패치를 사용할 경우 더 작은 크기나 단일 패치 구성보다 유의미하게 높은 성능을 보였으며, 이는 인도크티브 바이어스 제거를 위한 패치 분할의 중요성을 입증한다.
• 제거 실험 결과, 위치에 따라 변하는 특징과 장거리 의존성 모두가 필수적임을 확인하였으며, 둘 중 하나를 제거하면 성능이 크게 떨어졌다.
• 학습 중 패치의 최대 50%를 마스킹해도 높은 성능를 유지하여, 누락되거나 노이즈가 있는 입력 데이터에 대한 강건성을 입증하였다.
• 2D 컨벌루션 대비 3D-시간적 컨벌루션이 더 뛰어난 성능을 보였으며, CSI에서 6.4%p의 절대 향상(0.531 대비 0.467)을 기록하여 단기 역학을 포착하는 데의 효과성을 입증하였다.
• 모델는 양호한 일반화 능력을 유지하였으며, 추론 중 25%의 패치가 마스킹된 상황에서도 POD가 0.701을 기록하여 강력한 재구성 능력을 보였다.