[논문 리뷰] CMS-LSTM: Context Embedding and Multi-Scale Spatiotemporal Expression LSTM for Predictive Learning

Zenghao Chai, Zhengzhuo Xu외 3명|arXiv (Cornell University)|2021. 02. 06.

Hydrological Forecasting Using AI인용 수 4

한 줄 요약

이 논문은 반복적 인과관계 상호작용을 위한 컨텍스트 임bedding(CE) 블록과 세밀한 다중 척도 특징 표현을 위한 다중 척도 공간시계열 표현(SE) 블록을 통합한 새로운 공간시계열 순환 네트워크인 CMS-LSTM을 제안한다. ConvLSTM에 이러한 모듈을 통합함으로써, Moving MNIST 및 태풍 예측 벤치마크에서 파aram터 수가 적은데도 불구하고 최신 기술(SOTA) 수준의 성능을 달성하여 PSNR, SSIM을 향상시키고 MSE 및 MAE를 감소시킨다.

ABSTRACT

Spatiotemporal predictive learning (ST-PL) is a hotspot with numerous applications, such as object movement and meteorological prediction. It aims at predicting the subsequent frames via observed sequences. However, inherent uncertainty among consecutive frames exacerbates the difficulty in long-term prediction. To tackle the increasing ambiguity during forecasting, we design CMS-LSTM to focus on context correlations and multi-scale spatiotemporal flow with details on fine-grained locals, containing two elaborate designed blocks: Context Embedding (CE) and Spatiotemporal Expression (SE) blocks. CE is designed for abundant context interactions, while SE focuses on multi-scale spatiotemporal expression in hidden states. The newly introduced blocks also facilitate other spatiotemporal models (e.g., PredRNN, SA-ConvLSTM) to produce representative implicit features for ST-PL and improve prediction quality. Qualitative and quantitative experiments demonstrate the effectiveness and flexibility of our proposed method. With fewer params, CMS-LSTM outperforms state-of-the-art methods in numbers of metrics on two representative benchmarks and scenarios. Code is available at https://github.com/czh-98/CMS-LSTM.

연구 동기 및 목표

• 장기 공간시계열 시퀀스 예측에서 증가하는 불확실성과 흐릿한 세부 정보 문제를 해결한다.
• 장기 시퀀스 동안 공간시계열 일致성을 유지하기 위해 입력 프레임과 은닉 상태 표현 간의 상관관계를 향상시킨다.
• 주요 변화를 표현하면서도 미미한 영역는 억제함으로써 세밀한 다중 척도 공간시계열 동역학을 포착한다.
• 기존 공간시계열 모델에 성능 향상을 위해 적용 가능한 이식 가능한 모듈러 구성 요소(CE 및 SE 블록)를 설계한다.
• 제안된 모듈의 효과성과 일반화 능력을 다양한 데이터셋과 아키텍처에서 입증한다.

제안 방법

• 입력 및 은닉 상태 간의 반복적 상호작용을 향상시키기 위해 스택된 경량 CNN 레이어를 사용하는 컨텍스트 임베딩(CE) 블록을 도입한다.
• 자기어텐션을 활용하여 세 가지 공간 척도에서 특징을 추출함으로써 다중 척도 공간시계열 표현(SE) 블록을 구현하며, 동적 영역을 강조하고 정적 또는 중요하지 않은 영역는 억제한다.
• CE 및 SE 블록을 수정된 ConvLSTM 아키텍처에 통합한다. 여기서 CE는 LSTM 게이트 이전에 입력 및 은닉 상태를 처리하고, SE는 최종 출력 상태를 정밀하게 조정한다.
• 세 단계 처리 프로세스를 적용한다: (1) CE 블록이 입력 및 컨텍스트 상태를 정밀하게 조정하고, (2) 표준 LSTM 게이트가 후보 셀 상태 및 은닉 상태를 계산하며, (3) SE 블록이 다중 척도 어텐션을 통해 최종 출력을 향상시킨다.
• 학습 안정성 향상과 기울기 흐름 개선을 위해 CE 및 SE 블록에 잔차 연결과 정규화를 적용한다.
• 모듈성 확보를 위해 CE 및 SE 블록이 PredRNN 및 SA-ConvLSTM와 같은 다른 모델에 아키텍처의 대대적인 수정 없이도 쉽게 통합 가능하도록 설계한다.

실험 결과

연구 질문

• RQ1 입력 상태와 은닉 상태 간의 반복적 인과관계 상호작용이 장기 공간시계열 예측 정확도를 향상시키는가?
• RQ2 잠재 상태에서의 다중 척도 특징 표현이 시퀀스 내 세밀한 동적 변화 모델링에 기여하는가?
• RQ3 CE 및 SE 블록은 표준 ConvLSTM에 비해 예측 프레임의 불확실성과 흐림을 얼마나 줄이는가?
• RQ4 CE 및 SE 모듈은 다른 SOTA 공간시계열 모델에 효과적으로 이식되어 성능 향상을 이끌 수 있는가?
• RQ5 SE 블록의 다양한 구성(예: 1-척도 대비 3-척도)이 예측 품질과 견고성에 어떤 영향을 미치는가?

주요 결과

• CMS-LSTM는 Moving MNIST 및 태풍 예측 데이터셋에서 모두 최신 기술(SOTA) 성능을 달성하였으며, Moving MNIST에서 PSNR 21.955, 태풍 데이터셋에서 28.891를 기록하여 기준 모델인 ConvLSTM보다 각각 +3.432 dB 및 +2.538 dB 향상되었다.
• 제거 실험 결과, CE 블록을 제거할 경우 Moving MNIST에서 PSNR가 3.432 dB 감소하고 태풍 데이터셋에서 2.538 dB 감소함으로써, 컨텍스트 상호작용의 핵심적 역할을 입증하였다.
• 3-척도 SE 블록이 최고의 성능을 보였으며, 기준 모델 대비 Moving MNIST에서 MSE를 36.8 감소시키고 태풍 데이터셋에서 4.16 감소시켜 다중 척도 모델링의 중요성을 입증하였다.
• PredRNN 및 SA-ConvLSTM에 이식한 결과, PSNR 향상 폭이 각각 최대 +3.607 dB 및 +1.227 dB로 나타나, 모듈의 일반화 능력을 입증하였다.
• SOTA 방법보다 파aram터 수가 적은데도 불구하고 뛰어난 성능을 달성하여, 복잡한 공간시계열 동역학을 포착하는 데 있어 더 높은 파aram터 효율성을 보였다.
• 정성적 결과에서는 특히 높은 동적 변화가 일어나는 영역에서 더 선명하고 움직임 세부 정보가 뚜렷하며 흐림이 감소한 예측 프레임을 확인할 수 있었으며, 이는 향상된 특징 표현 능력을 확인한다.