[논문 리뷰] Memory In Memory: A Predictive Neural Network for Learning Higher-Order Non-Stationarity from Spatiotemporal Dynamics

Yunbo Wang, Jianjin Zhang외 4명|arXiv (Cornell University)|2018. 11. 19.

Meteorological Phenomena and Simulations참고 문헌 38인용 수 21

한 줄 요약

이 논문은 연속된 은닉 상태 간의 미분 신호를 활용하여 고차 비정상성의 스펙트럴 동역학을 모델링하는 새로운 순환 신경망 아키텍처인 메모리 인 메모리(MIM)를 제안한다. 이는 두 개의 연결된 자기 재생 메모리 모듈을 통해 이루어지며, 레이더 어림 예측, 교통 흐름 예측, 인간 자세 영상 생성을 포함한 네 가지 다양한 시공간 예측 작업에서 최신 기술(SOTA) 성능을 달성한다. 이는 기존 모델인 PredRNN과 FRNN보다 정량적 지표와 시각적 품질 모두에서 뛰어나다.

ABSTRACT

Natural spatiotemporal processes can be highly non-stationary in many ways, e.g. the low-level non-stationarity such as spatial correlations or temporal dependencies of local pixel values; and the high-level variations such as the accumulation, deformation or dissipation of radar echoes in precipitation forecasting. From Cramer's Decomposition, any non-stationary process can be decomposed into deterministic, time-variant polynomials, plus a zero-mean stochastic term. By applying differencing operations appropriately, we may turn time-variant polynomials into a constant, making the deterministic component predictable. However, most previous recurrent neural networks for spatiotemporal prediction do not use the differential signals effectively, and their relatively simple state transition functions prevent them from learning too complicated variations in spacetime. We propose the Memory In Memory (MIM) networks and corresponding recurrent blocks for this purpose. The MIM blocks exploit the differential signals between adjacent recurrent states to model the non-stationary and approximately stationary properties in spatiotemporal dynamics with two cascaded, self-renewed memory modules. By stacking multiple MIM blocks, we could potentially handle higher-order non-stationarity. The MIM networks achieve the state-of-the-art results on four spatiotemporal prediction tasks across both synthetic and real-world datasets. We believe that the general idea of this work can be potentially applied to other time-series forecasting tasks.

연구 동기 및 목표

• 강우 예측 및 교통 흐름과 같은 실제 과정에서 발생하는 복잡한 고차 비정상성의 모델링 과제를 해결하기 위해.
• PredRNN와 같은 모델에서 단순한 忽略 게이트를 갖춘 기존 RNN의 한계를 극복하기 위해, 변화하는 추세를 포착하지 못하고 선형 외삽 기반의 예측으로 이어지는 문제를 해결하기 위해.
• 은닉 상태에 대한 차분 연산을 효과적으로 활용하여 비정상 과정을 점차 정상 과정으로 변환함으로써 장기 예측 가능성 향상을 위한 메모리 아키텍처를 개발하기 위해.
• 계층적 메모리 구조를 통해 비정상성과 약간의 정상성 성분을 명시적으로 모델링함으로써 더 정확하고 견고한 시공간 예측을 가능하게 하기 위해.

제안 방법

• MIM 블록은 표준 LSTMs의 忽略 게이트를 두 개의 연결된 자기 재생 장기 기억 모듈로 대체하여 시공간 동역학에서 고차 비정상성과 정상성의 근사치를 모델링한다.
• 네트워크는 인접한 순환 은닉 상태 간의 미분 신호를 내부 메모리 모듈의 입력으로 사용하여, 원래 입력 신호의 과도한 차분을 피하면서도 시간에 따라 변화하는 추세를 포착할 수 있도록 한다.
• 아키텍처는 원시 입력에 대한 차분을 적용하는 것이 아니라 메모리 전이 수준에서 차분을 적용함으로써 정보를 유지하면서도 비정상 다항식의 차수를 감소시킨다.
• 여러 개의 MIM 블록을 스택하여 점차 복잡한 비정상 행동을 계층적으로 모델링할 수 있도록 하며, 비정상 과정을 점차 더 예측 가능한 정상 형태로 변환한다.
• 장기 기억을 위해 표준 LSTM 셀을 유지하면서도, 은닉 상태의 도함수 유사 진화를 처리하기 위해 두 개의 보조 순환 모듈을 도입한다.
• 이 디자인은 ARIMA 시계열 모델에서 영감을 받았으며, 차분을 통해 비정상 과정을 정상 과정으로 변환하는 아이디어를 깊이 있는 학습 프레임워크로 확장한다.

실험 결과

연구 질문

• RQ1 은닉 상태 간의 미분 신호를 활용함으로써 순환 신경망 아키텍처가 시공간 시퀀스의 고차 비정상성을 효과적으로 모델링할 수 있는가?
• RQ2 MIM의 계층적 메모리 구조는 레이더 데이터에서 어둠소산 및 축적과 같은 복잡한 시간 변화 추세를 어떻게 향상시킬 수 있는가?
• RQ3 기본 RNN 및 LSTM과 비교할 때, 忽略 게이트를 연결된 메모리 모듈로 대체함으로써 비정상 시공간 작업에서 예측 성능이 얼마나 향상되는가?
• RQ4 MIM 아키텍처는 영상 예측에서 선형 외삽에 대한 의존도를 줄여, 이전 모델에서 흔히 발생하는 흐림 현상을 완화하는가?
• RQ5 MIM 프레임워크는 합성, 교통, 기상, 인간 운동 데이터셋을 포함한 다양한 시공간 예측 작업에 일반화될 수 있는가?

주요 결과

• 레이더 어림 예측 작업에서 MIM은 가장 낮은 MSE(27.8)와 가장 높은 CSI 점수( CSI-30에서 0.429, CSI-40에서 0.399, CSI-50에서 0.317)를 기록하여, 모든 지표에서 FRNN, PredRNN, Causal LSTM을 모두 압도했다.
• Human3.6M 인간 자세 영상 예측 작업에서 MIM은 SSIM 0.790, MSE 429.9, MAE 1782.8을 기록했으며, 정량적 지표와 시각적 정밀도 모두에서 FRNN과 PredRNN을 뛰어넘었다.
• 합성 비행 숫자 데이터셋에서 MIM은 뛰어난 일반화 능력과 장기 예측 정확도를 보였으며, 복잡한 운동 패턴을 효과적으로 포착했다.
• 프레임 단위 평가 결과, MIM은 10프레임 예측 수평 기간 동안 일관되게 가장 높은 성능 유지를 보였으며, 경쟁 모델보다 항상 낮은 MSE와 높은 CSI 값을 기록했다.
• 분석 결과, PredRNN의 80% 이상의 忽略 게이트가 포화 상태였으며, 이는 비정상성 모델링이 효과적으로 이루어지지 않았음을 시사한다. 반면 MIM의 이중 메모리 메커니즘은 변화하는 추세를 효과적으로 포착했다.
• 시각적 비교 결과, MIM은 레이더 어림의 이동, 변형, 소멸을 정확히 예측한 반면, 다른 모델들은 복잡한 시공간 역학을 추적하지 못했다.