[논문 리뷰] Precipitation Forecasting via Multi-Scale Deconstructed ConvLSTM

Xinyu Xiao, Qiuming Kuang외 3명|arXiv (Cornell University)|2019. 12. 15.

Meteorological Phenomena and Simulations참고 문헌 25인용 수 5

한 줄 요약

이 논문은 강수 예측을 위한 다중 척도 분해형 ConvLSTM(MSD-ConvLSTM) 모델을 제안한다. 이 모델은 매개변수 수를 감소시키면서도 문맥적 특징 융합 성능을 향상시킨다. 표준 ConvLSTM 게이트를 완전히 연결된 신경망과 단일 채널 컨볼루션으로 분해하고, 다중 척도 필터를 통합함으로써 EC 및 CM 데이터셋에서 뛰어난 효율성과 정확도를 달성한다. 이는 이분법적 및 다수준 강우 예측에서 최신 기술보다 뛰어난 성능을 보인다.

ABSTRACT

Numerical Weather Prediction (NWP), is widely used in precipitation forecasting, based on complex equations of atmospheric motion requires supercomputers to infer the state of the atmosphere. Due to the complexity of the task and the huge computation, this methodology has the problems of inefficiency and non-economic. With the rapid development of meteorological technology, the collection of plentiful numerical meteorological data offers opportunities to develop data-driven models for NMP task. In this paper, we consider to combine NWP with deep learning. Firstly, to improve the spatiotemporal modeling of meteorological elements, a deconstruction mechanism and the multi-scale filters are composed to propose a multi-scale deconstructed ConvLSTM (MSD-ConvLSTM). The MSD-ConvLSTM captures and fuses the contextual information by multi-scale filters with low parameter consumption. Furthermore, an encoder-decoder is constructed to encode the features of multiple meteorological elements by deep CNN and decode the spatiotemporal information from different elements by the MSD-ConvLSTM. Our method demonstrates the data-driven way is significance for the weather prediction, which can be confirmed from the experimental results of precipitation forecasting on the European Centre Weather Forecasts (EC) and China Meteorological Forecasts (CM) datasets.

연구 동기 및 목표

• 스пат리오토르피컬 기상 모델링에서 표준 ConvLSTM의 높은 계산 비용과 제한된 특징 융합 문제를 해결하기 위해.
• 컨볼루션 게이트의 구조적 분해를 통해 성능 저하 없이 ConvLSTM의 매개변수 수를 감소시키기 위해.
• 분해된 아키텍처에 다중 척도 필터를 도입하여 문맥 기반 특징 추출 능력을 향상시키기 위해.
• 단기 강수 예측을 위한 다중 기상 요소를 효과적으로 융합하는 엔드 투 엔드 인코더-디코더 프레임워크를 설계하기 위해.
• 수치 기반 예측(NWP)과 딥러닝을 융합한 데이터 기반 접근 방식의 실현 가능성과 우수성을 입증하기 위해.

제안 방법

• 2D 컨볼루션을 완전히 연결된 신경망과 단일 채널 컨볼루션으로 대체함으로써 표준 ConvLSTM 게이트를 분해하여 매개변수 수를 감소시킴.
• 다양한 수신 영역을 가진 병렬 필터를 갖춘 다중 척도 컨볼루션 모듈(mConv)을 도입하여 다양한 척도의 문맥 정보를 캡처함.
• 입력 조절 게이트에 mConv를 적용하여 특징 융합 능력이 향상된 다중 척도 분해형 ConvLSTM(MSD-ConvLSTM)을 제안함.
• 인코더-디코더 아키텍처를 설계: 다중 기상 요소 입력의 특징 인코딩에 DeepLabv3+를 사용하고, 시공간 디코딩에 MSD-ConvLSTM를 활용함.
• 픽셀 단위의 교차 엔트로피와 IoU 기반 손실 함수를 사용하여 EC 및 CM 데이터셋에서 모델을 엔드 투 엔드로 훈련함.
• 불균형 데이터셋에서 희귀 강우 사건과 일반 패턴의 학습을 균형 있게 조절하기 위해 하이브리드 훈련 전략을 적용함.

실험 결과

연구 질문

• RQ1 ConvLSTM의 컨볼루션 구조를 분해함으로써 성능 저하 없이 매개변수 수를 줄이고 계산 효율성을 향상시킬 수 있는가?
• RQ2 다중 척도 필터는 기상 데이터에서 문맥적 공간적 특징을 더 잘 포착할 수 있는가?
• RQ3 제안된 MSD-ConvLSTM 기반 인코더-디코더 아키텍처는 기존 딥러닝 및 NWP 기반 모델보다 강수 예측에서 뛰어난 성능을 보일 수 있는가?
• RQ4 희귀 강우 사건이 희소한 불균형 데이터셋, 예를 들어 CM 데이터셋에서 모델의 성능은 어떠한가?
• RQ5 이 아키텍처를 통해 NWP 데이터와 딥러닝을 융합하면 전통적인 수치 방법보다 더 정확하고 효율적인 예측을 얻을 수 있는가?

주요 결과

• FC-ConvLSTM 변종은 표준 ConvLSTM 대비 매개변수 수를 2/3 감소시키고, 반복당 추론 시간을 2.879ms 감소시켰으며, 성능 저하가 최소한이었다.
• sConv-ConvLSTM 변종은 매개변수 수를 ConvLSTM의 1/4로 줄였고, FC-ConvLSTM보다 더 나은 공간적 문맥을 포착함으로써 성능과 속도가 향상되었다.
• 분해된-ConvLSTM는 정확도와 mIoU에서 표준 ConvLSTM와 유사한 성능를 달성하면서도 매개변수 수를 1/3으로 줄이고 반복당 2.767ms의 시간 절감을 이룬다.
• 제안된 MSD-ConvLSTM는 모든 변종보다 뛰어난 성능를 보였으며, 다중 척도 필터가 특징 융합과 예측 정확도를 크게 향상시킨다는 점을 입증했다.
• EC 및 CM 데이터셋에서 DeepLabv3+와 MSD-ConvLSTM를 사용한 인코더-디코더 모델은 이분법적 및 다수준 강우 예측에서 가장 높은 성능를 기록했으며, 불균형한 CM 데이터셋에서도 성능이 뛰어났다.
• 시각화 결과, SVM, FCN, DeepLabv3+ 단독 모델 대비 MSD-ConvLSTM 기반 예측 결과가 진짜값에 훨씬 더 가까운 것으로 나타나, 공간적·시간적 정밀도가 향상되었음을 확인했다.