[논문 리뷰] CMS-LSTM: Context-Embedding and Multi-Scale Spatiotemporal-Expression LSTM for Video Prediction.

Zenghao Chai, Chun Yuan외 2명|arXiv (Cornell University)|2021. 02. 06.

Human Pose and Action Recognition참고 문헌 22인용 수 8

한 줄 요약

이 논문은 장기간의 맥락 상관관계와 다중 척도 시공간 역학을 포착하기 위해 컨텍스트 임bed딩(CE) 및 시공간 표현(SE) 블록을 통합함으로써 ConvLSTM을 개선한 경량 비디오 예측 모델인 CMS-LSTM을 제안한다. 이 방법은 Moving MNIST 및 TaxiBJ에서 더 적은 파라미터로 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

Extracting variation and spatiotemporal features via limited frames remains as an unsolved and challenging problem in video prediction. Inherent uncertainty among consecutive frames exacerbates the difficulty in long-term prediction. To tackle the problem, we focus on capturing context correlations and multi-scale spatiotemporal flows, then propose CMS-LSTM by integrating two effective and lightweight blocks, namely Context-Embedding (CE) and Spatiotemporal-Expression (SE) block, into ConvLSTM backbone. CE block is designed for abundant context interactions, while SE block focuses on multi-scale spatiotemporal expression in hidden states. The newly introduced blocks also facilitate other spatiotemporal models (e.g., PredRNN, SA-ConvLSTM) to produce representative implicit features for video prediction. Qualitative and quantitative experiments demonstrate the effectiveness and flexibility of our proposed method. We use fewer parameters to reach markedly state-of-the-art results on Moving MNIST and TaxiBJ datasets in numbers of metrics. All source code is available at this https URL.

연구 동기 및 목표

• 특히 연속 프레임 간 높은 불확실성에서 제한된 비디오 프레임으로부터 의미 있는 시공간 특징을 추출하는 데 도전한다.
• 더 나은 맥락 상관관계 및 다중 척도 시공간 역학 모델링을 통해 장기 비디오 예측을 향상시킨다.
• 제안된 모델뿐 아니라 PredRNN 및 SA-ConvLSTM과 같은 기존 시공간 아키텍처에도 적용 가능한 가벼운 모듈식 구성 요소(CE 및 SE 블록)를 설계한다.
• 모델 복잡도를 크게 증가시키지 않으면서도 효율적이고 대표적인 특징 학습을 가능하게 한다.

제안 방법

• 주의 메커니즘 유사 방식을 통해 공간적 및 시간적 맥락 간 상호작용을 향상시키기 위해 ConvLSTM 기반 구조에 컨텍스트 임베딩(CE) 블록을 통합한다.
• 다양한 수신장 내에서 시공간 패턴을 모델링하여 은닉 상태 내의 다중 척도 특징을 포착하는 시공간 표현(SE) 블록을 도입한다.
• CE 및 SE 블록을 기존 시공간 모델과 호환되도록 가볍고 모듈식으로 설계하여 즉시 적용 가능한 개선 효과를 확보한다.
• 표준 비디오 예측 손실 함수를 사용해 엔드 투 엔드로 모델을 훈련시키며, CE 및 SE 블록이 각 시간 단계에서 은닉 표현을 동적으로 개선한다.
• SE 블록의 계층적 특징 표현을 활용해 다중 척도에서 국소적 및 전역적 운동 패턴을 모두 모델링한다.
• 블록 내에서 파라미터 공유 및 채널별 주의 메커니즘을 통해 추가 파라미터를 최소화함으로써 파라미터 효율성을 확보한다.

실험 결과

연구 질문

• RQ1 프레임 부족과 높은 간 프레임 간 불확실성 조건에서 맥락 인식 특징 학습이 장기 비디오 예측 성능을 향상시킬 수 있는가?
• RQ2 다중 척도 시공간 모델링은 비디오 시퀀스 내 동적 패턴의 표현을 어느 정도 향상시킬 수 있는가?
• RQ3 CE 및 SE 블록은 다양한 비디오 예측 벤치마크에서 성능 향상에 얼마나 효과적인가?
• RQ4 제안된 블록은 기본 ConvLSTM 아키텍처를 초월한 다른 시공간 모델에도 일반화될 수 있는가?

주요 결과

• CMS-LSTM은 Moving MNIST 데이터셋에서 다양한 평가 지표에서 최신 기술 수준 성능을 달성하였으며, 이전 방법들보다 낮은 예측 오차를 기록하였다.
• TaxiBJ 데이터셋에서는 특히 복잡한 도시 이동 패턴을 포착하는 데 뛰어난 장기 비디오 예측 성능을 보였다.
• 경쟁 모델들보다 더 적은 파라미터로 이러한 결과를 달성하여 높은 파라미터 효율성을 입증하였다.
• qualitative 시각화 결과를 통해 CE 및 SE 블록이 특징 표현을 크게 향상시켜 더 일관되고 현실적인 미래 프레임 예측을 가능하게 했다.
• CE 및 SE 블록의 플러그 앤 플레이 성격 덕분에 PredRNN 및 SA-ConvLSTM와 같은 다른 모델에 적용했을 때도 일관된 성능 향상이 관찰되었다.
• 제거 실험 결과, CE 및 SE 구성 요소 모두 최종 성능에 의미 있는 기여를 하였으며, 특히 다중 척도 역학 모델링에서 SE 블록이 뛰어난 효과를 발휘하는 것으로 확인되었다.