[논문 리뷰] PredRNN++: Towards A Resolution of the Deep-in-Time Dilemma in Spatiotemporal Predictive Learning

Yunbo Wang, Zhifeng Gao외 3명|arXiv (Cornell University)|2018. 04. 17.

Machine Learning and Data Classification인용 수 315

한 줄 요약

PredRNN++는 계단식 인과 LSTM과 이중 기억 및 Gradient Highway Unit을 통해 더 깊은 시계열-공간 모델링을 가능하게 하여 사라지는 그래디언트를 완화하고 합성 및 실제 데이터셋에서 최첨단 비디오 예측을 달성한다.

ABSTRACT

We present PredRNN++, an improved recurrent network for video predictive learning. In pursuit of a greater spatiotemporal modeling capability, our approach increases the transition depth between adjacent states by leveraging a novel recurrent unit, which is named Causal LSTM for re-organizing the spatial and temporal memories in a cascaded mechanism. However, there is still a dilemma in video predictive learning: increasingly deep-in-time models have been designed for capturing complex variations, while introducing more difficulties in the gradient back-propagation. To alleviate this undesirable effect, we propose a Gradient Highway architecture, which provides alternative shorter routes for gradient flows from outputs back to long-range inputs. This architecture works seamlessly with causal LSTMs, enabling PredRNN++ to capture short-term and long-term dependencies adaptively. We assess our model on both synthetic and real video datasets, showing its ability to ease the vanishing gradient problem and yield state-of-the-art prediction results even in a difficult objects occlusion scenario.

연구 동기 및 목표

• 시공간 예측 학습에서 단시간 내 비디오 동역학에 대한 더 깊은 시간적 모델링을 촉진한다.
• 다음 시간 스텝으로의 재현 깊이를 증가시키기 위한 cascaded dual-memory 메커니즘(인과 LSTM)을 제안한다.
• Gradient Highway Unit (GHU)을 사용하여 깊은 순환 구조에서 소실되는 그래디언트를 해결한다.
• 인과 LSTM과 GHU의 결합이 단기 및 장기 의존성을 적응적으로 포착함을 보여준다.
• 합성 및 실제 비디오 데이터셋에서 평가하여 최첨단 성능을 보인다.

제안 방법

• 시간 단계 간 재현 깊이를 증가시키기 위해 cascaded dual memories(시간 메모리 C_t^k와 공간 메모리 M_t^k)를 갖춘 인과 LSTM를 도입한다.
• 계단식 게이트를 통해 기억들을 연결하여 각 예측 프레임에 대해 더 깊은 전이 경로와 더 큰 수용장을 만든다.
• Gradient Highway Unit (GHU)를 제안하여 출력에서 먼 입력으로의 그래디언트 흐름을 위한 짧은 경로를 제공하고 Switch Gate S_t로 제어한다.
• L개의 인과 LSTM를 쌓고 첫 번째와 두 번째 LSTM 층 사이에 단일 GHU를 삽입하여 장기 및 단기 정보 흐름의 균형을 맞춘다.
• 5-층 아키텍처를 채택: 채널 크기가 128, 64, 64, 64인 4개의 인과 LSTM과 128채널 GHU; 5x5 컨볼루션을 사용한다.

실험 결과

연구 질문

• RQ1 시간적으로 더 깊은 순환 구조가 소실되는 그래디언트 문제를 겪지 않으면서 단기 비디오 동역학 모델링을 향상시킬 수 있는가?
• RQ2 이 cascaded dual-memory(인과 LSTM) 구조가 이전의 ST-LSTM이나 deep transition RNN보다 시공간 의존성을 더 잘 포착하는가?
• RQ3 Gradient Highway Unit이 멀리 있는 프레임의 학습을 지원하기 위해 효과적인 장거리 그래디언트 전파를 제공할 수 있는가?
• RQ4 이전 최첨단 모델과 비교하여 합성된 가림이 많은 데이터와 실제 동작 비디오에서 PredRNN++의 성능은 어떤가?
• RQ5 네트워크 내에서 GHU를 서로 다른 위치에 배치하는 것이 어떤 영향을 미치는가?

주요 결과

• 인과 LSTM과 GHU를 갖춘 PredRNN++가 Moving MNIST 변형에서 최첨단 결과를 달성하고 PredRNN 및 ST-LSTM 변형을 포함한 여러 비교대비 모델을 능가한다.
• 계단식 공간-대-시간 인과 LSTM 변형이 원래 ST-LSTM에 비해 SSIM을 개선하고 MSE를 감소시킨다.
• GHU는 모델 전반에서 일관되게 성능을 향상시키며, 최상의 이득은 하단 두 개의 LSTM 층 사이에 배치될 때이다.
• 그래디언트 분석은 PredRNN++가 시간에 따라 더 강하고 정보성이 높은 그래디언트를 유지하여 장거리 예측 시 소실 그래디언트 문제를 완화함을 보여준다.
• KTH 액션 데이터에서 PredRNN++가 가장 높은 PSNR 및 SSIM을 달성하여 장기 의존성 모델링이 개선되고 흐림이 감소함을 나타낸다.