[논문 리뷰] Decomposing Motion and Content for Natural Video Sequence Prediction

Ruben Villegas, Shuicheng Yan외 3명|arXiv (Cornell University)|2017. 06. 25.

Video Analysis and Summarization참고 문헌 10인용 수 416

한 줄 요약

MCnet은 영상 예측을 모션과 콘텐츠 인코더로 분해하여 픽셀 수준의 미래 프레임 예측을 위한 엔드-투-엔드 학습을 가능하게 하며 여러 액션 비디오 데이터셋에서 최첨단 결과를 달성합니다.

ABSTRACT

We propose a deep neural network for the prediction of future frames in natural video sequences. To effectively handle complex evolution of pixels in videos, we propose to decompose the motion and content, two key components generating dynamics in videos. Our model is built upon the Encoder-Decoder Convolutional Neural Network and Convolutional LSTM for pixel-level prediction, which independently capture the spatial layout of an image and the corresponding temporal dynamics. By independently modeling motion and content, predicting the next frame reduces to converting the extracted content features into the next frame content by the identified motion features, which simplifies the task of prediction. Our model is end-to-end trainable over multiple time steps, and naturally learns to decompose motion and content without separate training. We evaluate the proposed network architecture on human activity videos using KTH, Weizmann action, and UCF-101 datasets. We show state-of-the-art performance in comparison to recent approaches. To the best of our knowledge, this is the first end-to-end trainable network architecture with motion and content separation to model the spatiotemporal dynamics for pixel-level future prediction in natural videos.

연구 동기 및 목표

• 자연 비디오에서 픽셀 수준의 미래 프레임 예측을 동기 부여하고 다룬다.
• 모션과 콘텐츠를 각각 인코딩하는 두 스트림 아키텍처를 제안한다.
• 감독 없이도 엔드-투-엔드 학습이 모션-콘텐츠 분해를 학습하게 할 수 있음을 보인다.

제안 방법

• 프레임 차이를 처리하는 모션 인코더와 다크 프레임을 처리하는 콘텐츠 인코더의 두 인코더 경로를 통해 동적 특성을 포착하는 ConvLSTM을 사용한다.
• 풀링 정보 손실을 완화하고 디코더에 피드하기 위한 다중 스케일 모션-콘텐츠 잔차를 활용한다.
• 디코딩 전에 모션과 콘텐츠를 융합하여 하나의 표현으로 합치는 결합 계층을 사용한다.
• 잔차 연결로부터 보조를 받아 다음 프레임을 재구성하는 Deconvolution 기반 디코더를 사용한다.
• 이전 예측을 이후 단계의 입력으로 사용하여 위의 단계를 반복하는 방식으로 다중 프레임 예측을 달성한다.
• 손실은 이미지 공간 손실과 적대적 손실로 구성되어 더 선명하고 현실적인 프레임을 생성하도록 한다.

실험 결과

연구 질문

• RQ1 자연 비디오에서 모션과 콘텐츠를 별도 인코더 경로로 분리하는 것이 픽셀 수준의 미래 프레임 예측을 향상시킬 수 있는가?
• RQ2 엔드-투-엔드 학습이 감독 없이도 자연스러운 모션-콘텐츠 분해를 유도하는가?
• RQ3 MCnet이 표준 비디오 데이터셋(KTH, Weizmann, UCF-101)에서 ConvLSTM 기반 대조군 및 최첨단 프레임 예측 방법과 비교하여 어떤 성능을 보이는가?
• RQ4 다중 스케일 잔차가 정보를 보존하고 시간에 걸친 예측 품질을 향상시키는가?

주요 결과

• MCnet은 장기 예측에서 ConvLSTM 기반 대조군보다 우수하며 보이지 않는 콘텐츠에 일반화가 더 잘 된다(KTH 및 Weizmann 데이터셋).
• 비대칭적 모션-콘텐츠 아키텍처가 명시적 감독 없이도 동적 특성과 레이아웃의 자연스러운 분해를 가능하게 한다.
• UCF-101에서 MCnet(단일 단계)은 기준선 대비 명확한 개선을 보이고 최첨단과 비교 가능한 결과를 보여주며, 잔차 변형이 일반화를 향상시킨다.
• 다중 스케일 잔차가 풀링 과정에서 정보를 보존하고 프레임 선명도와 현실감을 개선한다.
• 예측이 더 긴 시간축에서 비교적 선명한 상태를 유지하며 주기적인 모션 패턴을 포착한다.
• 정성적 결과는 MCnet이 기준선보다 인간의 형태와 모션 신호를 더 충실하게 보존한다는 것을 보여준다.