[论文解读] Memory In Memory: A Predictive Neural Network for Learning Higher-Order Non-Stationarity from Spatiotemporal Dynamics

Yunbo Wang, Jianjin Zhang+4 more|arXiv (Cornell University)|Nov 19, 2018

Meteorological Phenomena and Simulations参考文献 38被引用 21

一句话总结

本文提出了一种新型循环神经网络架构——内存中的内存（MIM），通过利用连续隐藏状态之间的差分信号，借助两级级联的自更新记忆模块，对时空动态中的高阶非平稳性进行建模。MIM 在四个多样化的时空预测任务中取得了最先进性能，包括雷达回波预报、交通流量预测和人体姿态视频生成，在定量指标和视觉质量上均优于先前的模型（如 PredRNN 和 FRNN）。

ABSTRACT

Natural spatiotemporal processes can be highly non-stationary in many ways, e.g. the low-level non-stationarity such as spatial correlations or temporal dependencies of local pixel values; and the high-level variations such as the accumulation, deformation or dissipation of radar echoes in precipitation forecasting. From Cramer's Decomposition, any non-stationary process can be decomposed into deterministic, time-variant polynomials, plus a zero-mean stochastic term. By applying differencing operations appropriately, we may turn time-variant polynomials into a constant, making the deterministic component predictable. However, most previous recurrent neural networks for spatiotemporal prediction do not use the differential signals effectively, and their relatively simple state transition functions prevent them from learning too complicated variations in spacetime. We propose the Memory In Memory (MIM) networks and corresponding recurrent blocks for this purpose. The MIM blocks exploit the differential signals between adjacent recurrent states to model the non-stationary and approximately stationary properties in spatiotemporal dynamics with two cascaded, self-renewed memory modules. By stacking multiple MIM blocks, we could potentially handle higher-order non-stationarity. The MIM networks achieve the state-of-the-art results on four spatiotemporal prediction tasks across both synthetic and real-world datasets. We believe that the general idea of this work can be potentially applied to other time-series forecasting tasks.

研究动机与目标

• 为解决在真实世界过程（如降水预报和交通流量）中建模复杂高阶非平稳性的挑战。
• 克服现有 RNN 模型（特别是 PredRNN 等模型中简单的遗忘门机制）的局限性，这些模型无法捕捉动态演变趋势，导致预测结果模糊且基于线性外推。
• 开发一种记忆架构，通过在隐藏状态上应用差分操作，有效逐步将非平稳过程转化为平稳状态，从而提升长期可预测性。
• 通过分层记忆结构显式建模非平稳和近似平稳分量，实现更准确、更鲁棒的时空预测。

提出的方法

• MIM 模块用两个级联的自更新长短期记忆模块替代标准 LSTM 中的遗忘门，以对时空动态中的高阶非平稳性和近似平稳性进行建模。
• 网络将相邻循环隐藏状态之间的差分信号作为内部记忆模块的输入，使模型能够在不过度差分原始输入信号的前提下捕捉时变趋势。
• 该架构在记忆转换层级应用差分操作，而非在原始输入上，从而在保留信息的同时降低动态中非平稳多项式的阶数。
• 通过堆叠多个 MIM 模块，实现对日益复杂的非平稳行为的分层建模，逐步将非平稳过程转化为更可预测的平稳形式。
• 模型保留标准 LSTM 单元以处理长期记忆，同时引入两个辅助循环模块，用于处理隐藏状态的导数式演化。
• 该设计受到 ARIMA 时间序列模型的启发，其中差分操作可将非平稳过程转化为平稳过程，但将其思想适配为具有内部记忆递归的深度学习框架。

实验结果

研究问题

• RQ1 能否通过利用隐藏状态之间的差分信号，使循环神经网络架构有效建模时空序列中的高阶非平稳性？
• RQ2 MIM 中的分层记忆结构在建模雷达数据中如回波累积与消散等复杂时变趋势方面有何改进作用？
• RQ3 与标准 RNN 和 LSTM 相比，将遗忘门替换为级联记忆模块在非平稳时空任务上的预测性能提升程度如何？
• RQ4 MIM 架构是否减少了视频预测中对线性外推的依赖，从而减轻了先前模型中常见的模糊效应？
• RQ5 MIM 框架能否在包括合成数据、交通、气象和人体运动数据集在内的多样化时空预测任务中实现良好泛化？

主要发现

• 在雷达回波预报任务中，MIM 的 MSE 最低（27.8），CSI 评分最高（CSI-30 时为 0.429，CSI-40 时为 0.399，CSI-50 时为 0.317），在所有指标上均优于 FRNN、PredRNN 和 Causal LSTM。
• 在 Human3.6M 人体姿态视频预测任务中，MIM 的 SSIM 为 0.790，MSE 为 429.9，MAE 为 1782.8，无论在定量指标还是视觉保真度上均优于 FRNN 和 PredRNN。
• 在合成飞数字数据集上，MIM 展现出更优的泛化能力和长时程预测精度，能够有效捕捉复杂运动模式。
• 逐帧评估显示，MIM 在整个 10 帧预测时序中保持最佳性能，其 MSE 持续更低，CSI 值持续更高，优于对比模型。
• 分析表明，PredRNN 中超过 80% 的遗忘门处于饱和状态，表明其非平稳性建模效果不佳；而 MIM 的双记忆机制能有效捕捉动态演变趋势。
• 视觉对比结果证实，MIM 准确预测了雷达回波的运动、形变与消散过程，而其他模型则未能追踪复杂的时空动态。