[논문 리뷰] Video Prediction Transformers without Recurrence or Convolution

Yujin Tang, Qi Lü외 3명|arXiv (Cornell University)|2024. 10. 07.

Robotics and Automated Systems인용 수 8

한 줄 요약

논문은 순수 트랜스포머 기반의 시공간 예측 학습 프레임워크인 PredFormer를 소개하며, Moving MNIST, TaxiBJ, WeatherBench에서 CNN 기반 방법보다 더 높은 효율성과 빠른 수렴을 포함해 성능을 개선한다.

ABSTRACT

Video prediction has witnessed the emergence of RNN-based models led by ConvLSTM, and CNN-based models led by SimVP. Following the significant success of ViT, recent works have integrated ViT into both RNN and CNN frameworks, achieving improved performance. While we appreciate these prior approaches, we raise a fundamental question: Is there a simpler yet more effective solution that can eliminate the high computational cost of RNNs while addressing the limited receptive fields and poor generalization of CNNs? How far can it go with a simple pure transformer model for video prediction? In this paper, we propose PredFormer, a framework entirely based on Gated Transformers. We provide a comprehensive analysis of 3D Attention in the context of video prediction. Extensive experiments demonstrate that PredFormer delivers state-of-the-art performance across four standard benchmarks. The significant improvements in both accuracy and efficiency highlight the potential of PredFormer as a strong baseline for real-world video prediction applications. The source code and trained models will be released at https://github.com/yyyujintang/PredFormer.

연구 동기 및 목표

• 시공간 예측 학습을 위한 순환 기반이 없는 순수 트랜스포머 기반 접근 방식의 필요성과 이점을 제시한다.
• 공간-시간 트랜스포머 인자화와 인터리브드 아키텍처를 체계적으로 분석한다.
• 아홉 가지 PredFormer 변형을 개발하고 다양한 데이터셋에서 성능을 평가한다.
• 여러 벤치마크에서 CNN 기반 모델에 비해 최신의 정확도와 효율성을 입증한다.

제안 방법

• 패치 임베딩과 2D 시공간 사인포올 포지션 인코딩을 갖춘 순수 트랜스포머 아키텍처를 채택한다.
• MSA와 SwiGLU 기반 FFN을 결합한 게이트드 트랜스포머 블록(GTB)을 도입하여 효과적인 시공간 모델링을 구현한다.
• 풀 어텐션 인코더, 인자화 인코더(공간 우선/시간 우선), 그리고 여섯 가지 인터리브드 아키텍처를 탐색하여 아홉 가지 변형을 형성한다.
• 깊이를 고정한 GTB 기반 PredFormer 구성을 다수 제공하여 파라미터 비교의 공정성을 확보한다.
• 정확도는 MSE/MAE/RMSE와 SSIM으로, 효율성은 FPS/파라미터/FLOPs로 데이터셋 간 비교 평가한다.

실험 결과

연구 질문

• RQ1 순수 트랜스포머 아키텍처가 재발생 없이 시공간 의존성을 효과적으로 학습할 수 있는가?
• RQ2 공간 주의/시간 주의 인자화와 인터리빙이 서로 다른 데이터셋에서 성능에 어떤 영향을 미치는가?
• RQ3 다양한 PredFormer 구성 간 정확도와 효율성 간의 trade-off는 무엇인가?
• RQ4 인터리브드 아키텍처가 장기 및 단기 예측 작업에서 전체 어텐션 및 인자화 인코더에 비해 강력한 이득을 제공하는가?

주요 결과

• PredFormer 변형은 이전 방법과 비교하여 Moving MNIST, TaxiBJ, WeatherBench에서 최첨단 성능을 달성한다.
• Moving MNIST에서, 2000 에폭, 패치 크기 4로 학습했을 때 SimVP 대비 MSE를 51.3% 감소시킨다.
• TaxiBJ에서 MSE를 33.1% 감소시키고 FPS를 533에서 2364로 증가시킨다.
• WeatherBench에서 MSE를 11.1% 감소시키고 FPS를 196에서 404로 증가시킨다.
• 인터리브드 변형은 일관되게 풀 어텐션 및 인자화 인코더보다 우수한 성능을 보이며, Triplet-TST 및 Quadruplet-TSST가 다양한 설정에서 최상의 결과를 종종 낸다.
• Fac-T-S 모형은 파라미터 수가 훨씬 적은(5.3M) 강력한 성능과 주목할 만한 효율성 향상(FPS 최대 404)을 제공하며 CNN 기반 기준선을 능가한다.