[논문 리뷰] FDNet: A Deep Learning Approach with Two Parallel Cross Encoding Pathways for Precipitation Nowcasting

Biying Yan, Chao Yang외 3명|arXiv (Cornell University)|2021. 05. 06.

Flood Risk Assessment and Management참고 문헌 29인용 수 4

한 줄 요약

FDNet는 광학 흐름 필드 운동과 형태학적 변형을 두 개의 병렬 교차 인코딩 경로로 분리하여 강우 강도 예측을 위한 새로운 딥러닝 아키텍처를 제안한다. 이중 이동 및 형태 변화를 동시 모델링함으로써, 특히 장기 예측 및 폭우 사건에서 최신 기술 수준(SOTA) 성능을 달성하며 선명도, 정확도 및 시간 안정성 측면에서 기존 방법을 능가한다.

ABSTRACT

With the goal of predicting the future rainfall intensity in a local region over a relatively short period time, precipitation nowcasting has been a long-time scientific challenge with great social and economic impact. The radar echo extrapolation approaches for precipitation nowcasting take radar echo images as input, aiming to generate future radar echo images by learning from the historical images. To effectively handle complex and high non-stationary evolution of radar echoes, we propose to decompose the movement into optical flow field motion and morphologic deformation. Following this idea, we introduce Flow-Deformation Network (FDNet), a neural network that models flow and deformation in two parallel cross pathways. The flow encoder captures the optical flow field motion between consecutive images and the deformation encoder distinguishes the change of shape from the translational motion of radar echoes. We evaluate the proposed network architecture on two real-world radar echo datasets. Our model achieves state-of-the-art prediction results compared with recent approaches. To the best of our knowledge, this is the first network architecture with flow and deformation separation to model the evolution of radar echoes for precipitation nowcasting. We believe that the general idea of this work could not only inspire much more effective approaches but also be applied to other similar spatiotemporal prediction tasks

연구 동기 및 목표

• 레이더 에코 데이터를 활용한 정확한 단기 강우 강도 예측 문제를 해결하기 위해.
• 전체 운동과 국소 변형을 포함한 복잡하고 비정상적인 레이더 에코의 진화를 모델링하기 위해.
• 특히 폭우 및 장기 예측 기간 동안 예측 신뢰도와 선명도를 향상시키기 위해.
• 광학 흐름과 형태학적 변형을 분리하여 보다 정밀한 시공간 모델링을 가능하게 하기 위해.

제안 방법

• FDNet는 두 개의 병렬 교차 인코딩 경로를 사용한다: 광학 흐름 필드 운동을 위한 유동성 인코더와 형태학적 변화를 위한 변형 인코더.
• 유동성 인코더는 광학 흐름 기법을 기반으로 한 유동성 추정 모듈을 사용하여 레이더 에코의 이동 운동을 캡처한다.
• 변형 인코더는 축적, 소멸, 팽창과 같은 국소 형태 변화를 형태 인식 인코딩 메커니즘을 사용하여 모델링한다.
• 두 인코더의 출력은 결합되어 공유 디코더에 입력되어 향후 레이더 에코 예측을 수행한다.
• 네트워크는 재구성 손실을 사용하여 실제 레이더 에코 시퀀스에서 엔드 투 엔드로 훈련되며 예측 오차를 최소화한다.
• 제거 실험을 통해 두 경로의 필요성을 검증하였으며, 시각화 결과는 각 경로의 역할이 명확히 드러나 있다: 유동성 경로는 전반적 이동을, 변형 경로는 국소 강도 변화를 담당한다.

실험 결과

연구 질문

• RQ1 광학 흐름과 형태학적 변형을 분리함으로써 강우 강도 예측 성능 향상이 가능한가?
• RQ2 유동성과 변형의 동시 모델링이 장기 예측에서 이미지 블러를 어떻게 감소시키는가?
• RQ3 변형 브랜치가 폭우 및 새로운 스톰 형성 예측에 얼마나 기여하는가?
• RQ4 두 병렬 경로는 전반적 운동과 국소 구조적 변화를 포착하는 데 어떻게 비교되는가?

주요 결과

• FDNet는 두 개의 실제 레이더 에코 데이터셋에서 최신 기술 수준의 성능을 달성하였으며, 정량적 지표와 시각적 품질 측면에서 최근 SOTA 방법을 모두 능가한다.
• 제거 실험 결과, 변형 인코더를 제거할 경우 성능이 크게 악화됨을 확인하여, 국소 진화를 포착하는 데 있어 그 핵심적 역할을 입증한다.
• 변형 브랜치는 특히 폭우(예: >50 dBZ) 및 새로운 스톰 형성 예측에 매우 효과적이며, 복잡한 진화 패턴을 보여주는 시각화 결과로 이를 입증한다.
• 유동성 경로만으로도 FDNet와 유사한 결과를 도출하지만, 폭우 예측에서 잔류 오차가 존재함을 통해 이중 경로 설계의 필수성을 강조한다.
• 시각화 결과, 기준 모델 대비 FDNet가 더 선명한 예측을 유지하며 특히 장기 예측에서 블러가 적음을 입증한다.
• 기존 모델이 예측하지 못하는 레이더 에코의 동시 소멸 및 팽창과 같은 도전적인 역학적 동역학도 성공적으로 포착한다.