[논문 리뷰] SimVPv2: Towards Simple yet Powerful Spatiotemporal Predictive Learning

Cheng Tan, Zhangyang Gao외 2명|arXiv (Cornell University)|2022. 11. 22.

Domain Adaptation and Few-Shot Learning인용 수 34

한 줄 요약

SimVPv2는 간단한 CNN 기반 베이스라인이 재귀나 주의 기법 없이도 시공간 예측에서 최첨단 성능에 도달할 수 있음을 보여주며, 게이트된 시공간 주의(gSTA) 및 Inception 유사 시간 모듈을 포함한 변형이 이를 뒷받침한다. 데이터셋 전반에서의 강력한 효율성과 일반화를 입증한다.

ABSTRACT

Recent years have witnessed remarkable advances in spatiotemporal predictive learning, with methods incorporating auxiliary inputs, complex neural architectures, and sophisticated training strategies. While SimVP has introduced a simpler, CNN-based baseline for this task, it still relies on heavy Unet-like architectures for spatial and temporal modeling, which still suffers from high complexity and computational overhead. In this paper, we propose SimVPv2, a streamlined model that eliminates the need for Unet architectures and demonstrates that plain stacks of convolutional layers, enhanced with an efficient Gated Spatiotemporal Attention mechanism, can deliver state-of-the-art performance. SimVPv2 not only simplifies the model architecture but also improves both performance and computational efficiency. On the standard Moving MNIST benchmark, SimVPv2 achieves superior performance compared to SimVP, with fewer FLOPs, about half the training time, and 60% faster inference efficiency. Extensive experiments across eight diverse datasets, including real-world tasks such as traffic forecasting and climate prediction, further demonstrate that SimVPv2 offers a powerful yet straightforward solution, achieving robust generalization across various spatiotemporal learning scenarios. We believe the proposed SimVPv2 can serve as a solid baseline to benefit the spatiotemporal predictive learning community.

연구 동기 및 목표

• Recurrence나 트랜스포머 없이 시공간 예측 학습을 위한 단순하고 완전 합성곱 기반 베이스라인의 동기를 제시한다.
• 과거 프레임을 인코드하고 이를 미래 프레임으로 효과적으로 변환할 수 있는 경량의 오토인코더형 아키텍처를 보여준다.
• 성능을 높이되 학습 및 추론은 효율적으로 유지하는 두 가지 변형(Inception-Unet 및 gSTA)을 도입한다.
• 여러 데이터셋에 걸친 재현 가능한, 통합된 평가를 통해 재귀 모델 및 CNN 기반 베이스라인과의 비교를 제공한다.

제안 방법

• 과거 프레임을 매핑하기 위한 순수 합성곱 인코더–트랜슬레이터–디코더 아키텍처를 사용한다.
• 공유 시간 변환기가 다중 프레임 특징의 스택을 다루도록 프레임 단위 공간 인코딩을 권장한다.
• 두 가지 시공간 트랜스레이터 변형을 도입한다: (i) 다중 가지 분기와 큰 커널의 시계열 처리로 Inception-Unet 트랜스레이터; (ii) 분해된 대형 커널을 사용해 주의(attention)를 흉내 내는 게이트된 시공간 주의(gSTA) 트랜스레이터.
• 추가 기법이나 적대적 전략 없이 표준 평균 제곱 오차 손실로 엔드 투 엔드로 학습한다.
• Moving MNIST, TaxiBJ, WeatherBench, Caltech Pedestrian, KITTI 파생 시나리오에서 현재 최첨단과의 효율성 및 정확도를 비교 평가한다.

실험 결과

연구 질문

• RQ1 재귀나 주의 트릭 없이 단순 CNN-CNN-CNN 프레임워크가 시공간 예측에서 경쟁력 있는 성능을 달성할 수 있는가?
• RQ2 Inception 스타일의 시간 모듈이나 게이트된 시공간 주의(gSTA) 변형이 베이스라인 대비 의미 있는 정확도 및 효율성 향상을 제공하는가?
• RQ3 SimVPv2는 재귀 및 트랜스포머 기반 메서드에 비해 다양한 데이터셋과 예측 horizon에서 일반화하는가?
• RQ4 학습 시간, 추론 속도, 예측 품질 사이의 트레이드오프는 SimVPv2와 그 변형에서 어떤 모습인가?

주요 결과

방법	플롭스(G) ↓	학습 시간 ≈ (초) ↓	추론 효율성 ↑	MSE ↓	MAE ↓	SSIM ↑
ConvLSTM-S	14.45	190	7.50	46.26 ± 0.26	142.18 ± 0.61	0.878 ± 0.001
PhyDNet	15.33	452	4.62	35.68 ± 0.40	96.70 ± 0.29	0.917 ± 0.000
MAU	17.79	535	3.08	30.64 ± 0.10	88.17 ± 0.35	0.928 ± 0.001
SimVP+IncepU	19.43	261	27.15	32.22 ± 0.02	89.19 ± 0.33	0.927 ± 0.000
SimVP+gSTA-S	16.53	156	44.09	26.60 ± 0.02	77.32 ± 0.22	0.940 ± 0.000
ConvLSTM-L	127.01	879	6.24	29.88 ± 0.17	95.05 ± 0.25	0.925 ± 0.000
PredRNN	115.95	869	3.97	25.04 ± 0.08	76.26 ± 0.29	0.944 ± 0.000
PredRNN++	171.73	1280	3.71	22.45 ± 0.36	69.70 ± 0.25	0.950 ± 0.000
MIM	179.18	1388	3.08	23.66 ± 0.20	74.37 ± 0.46	0.946 ± 0.000
E3D-LSTM	298.87	2693	3.73	36.19 ± 0.20	78.64 ± 0.35	0.932 ± 0.000
CrevNet	270.68	1166	1.01	30.15 ± 1.61	86.28 ± 2.65	0.935 ± 0.003
PredRNNv2	116.59	899	3.49	27.73 ± 0.08	82.17 ± 0.33	0.937 ± 0.000
SimVP+gSTA-S × 10	16.53	1560	44.09	15.05 ± 0.03	49.80 ± 0.10	0.967 ± 0.000
SimVP+gSTA-S × 5	16.53	780	44.09	16.47 ± 0.02	53.24 ± 0.04	0.964 ± 0.000
SimVP+gSTA-S × 3	16.53	468	44.09	22.37 ± 0.06	67.52 ± 0.03	0.951 ± 0.000
SimVP+gSTA-L	152.20	796	21.23	21.81 ± 0.03	66.43 ± 0.04	0.952 ± 0.000

• SimVP 변형은 Moving MNIST에서 최첨단 재귀 모델과 비교해 MSE/MAE/SSIM에서 경쟁적이거나 우수한 성능을 달성한다.
• gSTA 변형은 예측 품질과 추론 효율성 모두에서 강력한 이점을 제공하며, 종종 MSE/MAE가 더 낮고 SSIM이 더 높은 성능을 달성한다.
• TaxiBJ에서 SimVP+gSTA는 IncepU 및 다른 베이스라인 대비 현저한 개선을 보여 교통 예측 태스크에서도 효과적임을 입증한다.
• 표준 벤치마크에서 SimVP 변형은 재귀 모델보다 학습 시간 및 추론 속도 측면에서 우수한 트레이드오프를 보이며, 종종 추론 속도가 훨씬 빠르다.
• 적은 에포크 혹은 축소된 에포크로 학습하더라도 SimVP 변형은 컴퓨팅 비용을 줄이며 경쟁력 있는 성능을 달성한다.
• 이 접근법은 단순성과 일반화에 중점을 두며, SimVPv2가 시공간 예측 학습의 강력하고 사용하기 쉬운 베이스라인이 될 것을 시사한다.