[논문 리뷰] SimVP: Simpler yet Better Video Prediction

Zhangyang Gao, Cheng Tan외 2명|arXiv (Cornell University)|2022. 06. 09.

Human Pose and Action Recognition인용 수 5

한 줄 요약

SimVP는 평균 제곱오차(MSE) 손실을 사용해 엔드 투 엔드로 훈련하는 순수 컨볼루션 신경망(CNN) 기반의 단순하지만 최신 기술 수준에 이르는 비디오 예측 모델을 제안한다. 보조 모듈, 적대적 훈련, 또는 복잡한 아키텍처 없이도 SimVP는 다섯 가지 벤치마크 데이터셋에서 최고 성능을 기록하며, 단기 및 장기 예측 작업 모두에서 뛰어난 일반화 능력, 확장성, 효율성을 입증한다.

ABSTRACT

From CNN, RNN, to ViT, we have witnessed remarkable advancements in video prediction, incorporating auxiliary inputs, elaborate neural architectures, and sophisticated training strategies. We admire these progresses but are confused about the necessity: is there a simple method that can perform comparably well? This paper proposes SimVP, a simple video prediction model that is completely built upon CNN and trained by MSE loss in an end-to-end fashion. Without introducing any additional tricks and complicated strategies, we can achieve state-of-the-art performance on five benchmark datasets. Through extended experiments, we demonstrate that SimVP has strong generalization and extensibility on real-world datasets. The significant reduction of training cost makes it easier to scale to complex scenarios. We believe SimVP can serve as a solid baseline to stimulate the further development of video prediction. The code is available at \href{https://github.com/gaozhangyang/SimVP-Simpler-yet-Better-Video-Prediction}{Github}.

연구 동기 및 목표

• 복잡한 아키텍처나 훈련 기법 없이도 단순한 순수 CNN 기반 모델이 비디오 예측에서 최고 성능을 달성할 수 있는지 조사하기 위해.
• 미래의 비디오 예측 연구를 위한 강력하고 이해하기 쉬우며 확장 가능한 기준 모델을 수립하기 위해.
• 장기 예측 및 실제 세계 비디오 예측 환경에서 최소한의 설계가 얼마나 효과적이고 일반화 가능한지 평가하기 위해.
• 모델 성능에 기여하는 개별 구성 요소(인코더, 트랜슬레이터, 디코더)의 기여도를 이해하기 위해.

제안 방법

• 모델 아키텍처는 표준 컨볼루션 블록으로 구성된 CNN-CNN-CNN 프레임워크를 따르며, 인코더, 시간 트랜슬레이터, 디코더로 구성된다.
• 인코더는 입력 프레임의 공간적 특징을 추출하기 위해 $N_s$개의 ConvNormReLU 블록을 사용한다.
• 트랜슬레이터는 $T$프레임 간의 시간적 변화를 모델링하기 위해 $N_t$개의 인셉션 유사 모듈을 활용하며, 공간 차원 $(H,W)$에서 $T \times C$ 채널을 처리한다.
• 디코더는 잠재적 특징에서 미래 프레임을 재구성하기 위해 $N_s$개의 unConvNormReLU 블록을 사용한다.
• 모델 전체는 적대적 훈련, distillation, 또는 옵티컬 플로우 감독 없이 오직 MSE 손실만을 사용해 엔드 투 엔드로 훈련된다.
• 제거 분석에서는 그룹 배치 정규화, 그룹 컨볼루션, 스킵 연결, 커널 크기와 같은 아키텍처 구성 요소의 영향을 평가한다.

실험 결과

연구 질문

• RQ1 오직 MSE 손실로 훈련된 단순한 CNN 기반 모델이 비디오 예측에서 복잡한 아키텍처를 능가할 수 있는가?
• RQ2 인코더, 트랜슬레이터, 디코더의 상대적 기여도는 모델 성능에 어떻게 기여하는가?
• RQ3 커널 크기, 그룹 배치 정규화, 스킵 연결과 같은 아키텍처 선택이 성능 및 일반화에 어떻게 영향을 미치는가?
• RQ4 SimVP는 장기 예측 및 실제 세계 데이터셋으로 일반화되는 데 효과적인가?

주요 결과

• SimVP는 KTH, Moving MNIST, TrafficBJ, Human3.6M, KTH를 포함한 다섯 가지 벤치마크 데이터셋에서 최고 성능을 기록하며 PSNR 및 SSIM 측면에서 뚜렷한 향상을 이룬다.
• KTH 데이터셋에서 10→20 프레임 예측 시 SimVP는 33.72 dB의 PSNR와 0.905의 SSIM을 기록하며, 이는 이전 최고 성능보다 PSNR에서 11.8% 향상된 결과이다.
• KTH에서 10→40 프레임 예측 시 SimVP는 32.93 dB의 PSNR와 0.886의 SSIM을 기록하며, 장기간의 시퀀스에서도 성능 저하가 거의 발생하지 않는다.
• 제거 분석 결과, 그룹 컨볼루션은 가장 영향력 있는 아키텍처 구성 요소로 나타나며, 그룹 배치 정규화와 스킵 연결이 그 다음으로 영향을 미친다.
• 트랜슬레이터는 주로 물체의 위치와 내용을 예측하는 데 기여하며, 디코더는 전경 형태를 정밀하게 다듬는 데 기여하고, 인코더는 스킵 연결을 통해 배경 오류를 줄이는 데 기여한다.
• SimVP는 높은 성능를 유지하면서도 훈련 비용을 크게 줄여, 매우 확장 가능하며 강력한 기준 모델로 적합하다.