[논문 리뷰] PredRNN: A Recurrent Neural Network for Spatiotemporal Predictive Learning

Yunbo Wang, Haixu Wu외 5명|arXiv (Cornell University)|2021. 03. 17.

Advanced Vision and Imaging인용 수 38

한 줄 요약

PredRNN은 시공간 메모리 흐름과 분리된 메모리 셀(ST-LSTM)을 도입하고, 예측 미래 프레임을 위한 커리큘럼 학습 전략으로, 여러 데이터셋에서 경쟁력 있는 성능을 달성한다.

ABSTRACT

The predictive learning of spatiotemporal sequences aims to generate future images by learning from the historical context, where the visual dynamics are believed to have modular structures that can be learned with compositional subsystems. This paper models these structures by presenting PredRNN, a new recurrent network, in which a pair of memory cells are explicitly decoupled, operate in nearly independent transition manners, and finally form unified representations of the complex environment. Concretely, besides the original memory cell of LSTM, this network is featured by a zigzag memory flow that propagates in both bottom-up and top-down directions across all layers, enabling the learned visual dynamics at different levels of RNNs to communicate. It also leverages a memory decoupling loss to keep the memory cells from learning redundant features. We further propose a new curriculum learning strategy to force PredRNN to learn long-term dynamics from context frames, which can be generalized to most sequence-to-sequence models. We provide detailed ablation studies to verify the effectiveness of each component. Our approach is shown to obtain highly competitive results on five datasets for both action-free and action-conditioned predictive learning scenarios.

연구 동기 및 목표

• 시공간 순서의 예측 학습을 촉진하고 과거 맥락으로부터 미래 프레임을 생성한다.
• 짧은-term과 긴-term 의존성을 모두 다루는 메모리 보강 순환 아키텍처로 시공간 동역학을 모델링한다.
• 맥락 프레임으로부터 장기 동역학을 학습하고 일반화를 개선하기 위한 학습 전략을 도입한다.
• 액션-조건부 비디오 예측으로 모델을 확장하고 그 효과를 평가한다.

제안 방법

• 레이어 간에 메모리를 지그재그 경로로 전달하기 위한 시공간 메모리 흐름을 도입한다.
• 장기 및 단기 동역학을 각각 모델링하기 위해 두 개의 분리된 메모리 셀(C와 M)을 갖는 Spatiotemporal LSTM(ST-LSTM)을 제안한다.
• C와 M 간의 중복되지 않는 특징을 촉진하기 위해 메모리 디커플링 손실을 적용한다.
• 맥락 프레임으로부터 장기 동역학 학습을 강화하기 위해 Reverse Scheduled Sampling을 도입한다.
• 에이전트 주도 환경의 시뮬레이션을 위한 액션 융합을 갖춘 액션-조건부 PredRNN으로 확장한다.
• 프레임 재구성 목적과 디커플 손실로 엔드투엔드 학습을 수행하고, 구성 요소를 검증하기 위한 ablation을 제공한다.

Figure 1: Left: the spatiotemporal memory flow architecture that uses ConvLSTM as the building block. The orange arrows show the deep-in-time path of memory state transitions. Right: the original ConvLSTM network proposed by Shi et al. [ 1 ] .

실험 결과

연구 질문

• RQ1 지그재그 시공간 메모리 흐름이 프레임 예측을 위한 계층 간 정보 공유를 향상시킬 수 있는가?
• RQ2 메모리 셀을 장기 및 단기로 분리하는 것이 예측 모델링을 향상시키는가?
• RQ3 제안된 커리큘럼 학습(Reverse Scheduled Sampling)이 맥락 프레임으로부터 장기 동역학 학습에 도움이 되는가?
• RQ4 액션 조건부가 시공간 예측 성능에 어떤 영향을 미치는가?
• RQ5 아블레이션이 각 구성 요소가 전체 성능에 기여함을 확인하는가?

주요 결과

• 액션이 없는 시나리오와 액션-조건부 예측 학습 시나리오 모두에서 다섯 데이터셋에 대한 최첨단 성능을 달성한다.
• 메모리 흐름, 메모리 분리(ST-LSTM) 및 RSS 학습 스킴의 효과를 검증하는 상세한 ablation 연구를 제공한다.
• Moving MNIST, KTH, radar echo precipitation forecasting, Traffic4Cast 및 BAIR 데이터셋에서 경쟁력 있는 결과를 보여준다.
• 로봇-객체 상호작용 시나리오를 위한 액션-조건부 변형으로 접근법을 확장한다.
• 재현성을 돕기 위해 코드를 공개한다(논문에 GitHub 링크 포함).

Figure 2: Left: the main architecture of PredRNN, in which the orange arrows denote the state transition paths of $\mathcal{M}_{t}^{l}$ , namely the spatiotemporal memory flow. Right: the ST-LSTM unit with twisted memory states that serves as the building block of the proposed PredRNN, where the ora