[논문 리뷰] MS-RNN: A Flexible Multi-Scale Framework for Spatiotemporal Predictive Learning

Zhifeng Ma, Hao Zhang외 1명|arXiv (Cornell University)|2022. 06. 07.

Geographic Information Systems Studies인용 수 10

한 줄 요약

이 논문은 최소한의 메모리 오버헤드로 RNN의 시공간 예측 성능을 향상시키는 일반적인 다중 척도 순환 신경망 프레임워크인 MS-RNN을 제안한다. 풀링을 통한 다중 척도 수용장치 통합과 다중 해상도 특징 학습을 통해 MS-RNN은 최대 56.25%까지 메모리 사용량을 감소시키면서도 여덟 개인 RNN 모델과 네 개의 데이터셋에서 예측 정확도를 향상시킨다. 이는 더 깊거나 넓은 변형 모델에 비해 뛰어난 효율성과 성능을 보여준다.

ABSTRACT

Spatiotemporal predictive learning, which predicts future frames through historical prior knowledge with the aid of deep learning, is widely used in many fields. Previous work essentially improves the model performance by widening or deepening the network, but it also brings surging memory overhead, which seriously hinders the development and application of this technology. In order to improve the performance without increasing memory consumption, we focus on scale, which is another dimension to improve model performance but with low memory requirement. The effectiveness has been widely demonstrated in many CNN-based tasks such as image classification and semantic segmentation, but it has not been fully explored in recent RNN models. In this paper, learning from the benefit of multi-scale, we propose a general framework named Multi-Scale RNN (MS-RNN) to boost recent RNN models for spatiotemporal predictive learning. We verify the MS-RNN framework by thorough theoretical analyses and exhaustive experiments, where the theory focuses on memory reduction and performance improvement while the experiments employ eight RNN models (ConvLSTM, TrajGRU, PredRNN, PredRNN++, MIM, MotionRNN, PredRNN-V2, and PrecipLSTM) and four datasets (Moving MNIST, TaxiBJ, KTH, and Germany). The results show the efficiency that RNN models incorporating our framework have much lower memory cost but better performance than before. Our code is released at \url{https://github.com/mazhf/MS-RNN}.

연구 동기 및 목표

• 시공간 예측에서 최신 RNN의 높은 메모리 소비 문제를 해결하여 모델의 확장성과 실세계 적용을 가능하게 하기 위해.
• 성능 향상에 활용되지 않은 척도 차원을 탐색함으로써 모델 성능와 메모리 사용량 사이의 트레이드오프를 극복하기 위해.
• 기존 RNN 아키텍처를 대체하거나 크게 변경하지 않고도 성능을 향상시킬 수 있는 일반적이고 즉각 적용 가능한 프레임워크를 개발하기 위해.
• 고해상도 영상 예측을 가능하게 하기 위해 메모리 프로파일을 줄여 고정된 GPU 메모리 한계 내에서 더 큰 입력 크기를 처리할 수 있도록 하기 위해.
• 다중 척도 설계가 수용장치와 시간 기억 능력을 향상시켜 복잡한 시공간 역동성을 더 잘 모델링할 수 있음을 입증하기 위해.

제안 방법

• 다양한 해상도에서 특징 맵을 생성하기 위해 공간 풀링을 적용하는 다중 척도 아키텍처를 도입하여 다양한 척도에서 객체와 운동을 포착할 수 있도록 한다.
• 기존 RNN(예: ConvLSTM, PredRNN++)에 다중 척도 특징을 통합하기 위해 서로 다른 척도의 특징을 연결하거나 융합한 후 공유 또는 병렬 RNN 유닛을 통해 처리한다.
• 저해상도 프레임을 먼저 예측하고 고해상도로 보정하는 계층적 예측 전략을 적용하여 효율성과 정확도를 동시에 향상시킨다.
• 메모리 및 FLOPs 감소 비율을 공식적으로 분석하여 이상적인 조건에서 두 지표 모두 최대 56.25% 감소하는 이론적 경계를 입증한다.
• 다양한 RNN 변형을 지원할 수 있도록 다중 척도 구성 요소로 기존 입력 및 은닉 상태 처리 모듈을 대체하거나 보강하는 탄력적인 프레임워크를 설계한다.
• 여덟 개인 RNN 모델(ConvLSTM, TrajGRU, PredRNN, PredRNN++, MIM, MotionRNN, PredRNN-V2, PrecipLSTM)과 네 개의 데이터셋(Moving MNIST, TaxiBJ, KTH, Germany)에 이 프레임워크를 적용한다.

실험 결과

연구 질문

• RQ1 메모리 소비를 늘리지 않고도 다중 척도 설계가 RNN의 시공간 예측 성능을 향상시킬 수 있는가?
• RQ2 MS-RNN은 더 깊거나 넓은 RNN 변형에 비해 메모리 사용량과 FLOPs를 얼마나 줄일 수 있는가?
• RQ3 다중 척도 아키텍처가 수용장치와 시간 기억 능력을 향상시켜 더 복잡한 운동 패턴을 더 잘 모델링하는가?
• RQ4 정확도와 메모리 효율성 측면에서 MS-RNN은 CMS-LSTM, MoDeRNN, SimVP, Earthformer 등의 경쟁 다중 척도 모델에 비해 어떻게 성능을 내는가?
• RQ5 고정된 GPU 메모리 제약 내에서 기존 RNN이 더 높은 해상도의 입력을 처리할 수 있도록 MS-RNN이 가능하게 하는가?

주요 결과

• MS-RNN는 기준 RNN에 비해 최대 56.25%까지 메모리 사용량과 FLOPs를 감소시키며, 이론적 분석을 통해 이러한 경계가 확인된다.
• Moving MNIST 데이터셋에서 MS-PredRNN++는 MSE를 43.2% 감소시켰고, 메모리 사용량은 15.20G에서 8.18G로 48.7% 감소시켰다.
• MS-MotionRNN는 메모리 사용량을 20.65G에서 10.48G로 줄였으며(90.5% 감소), MSE는 55.35에서 51.55로 향상되어 37.1%의 성능 향상을 달성했다.
• 이 프레임워크 덕분에 ConvLSTM은 최대 220×220 해상도의 이미지를 처리할 수 있었고, MS-ConvLSTM는 낮은 메모리(3.86G)로도 높은 성능 유지를 이룩했다.
• 모든 데이터셋에서 CMS-LSTM, MoDeRNN, SimVP, Earthformer 등의 경쟁 모델에 비해 MS-RNN는 메모리 효율성과 예측 정확도 양면에서 뛰어난 성능을 보였다.
• 다중 척도 설계는 효과적인 수용장치를 증가시키고 계층적 예측을 가능하게 하여 실험에서 관찰된 성능 향상의 원인을 설명한다.