[论文解读] A Neurally-Inspired Hierarchical Prediction Network for Spatiotemporal Sequence Learning and Prediction

Jielin Qiu, Ge Huang+1 more|arXiv (Cornell University)|Jan 25, 2019

Image Retrieval and Classification Techniques参考文献 43被引用 6

一句话总结

本文提出分层预测网络（HPNet），一种受神经机制启发的基于LSTM的循环模型，通过分析-合成框架中的分层预测学习时空序列。通过在各层次最小化预测误差，HPNet实现了最先进的长时序视频预测性能，并复现了如预测与熟悉度抑制等神经生理现象。

ABSTRACT

In this paper we developed a hierarchical network model, called Hierarchical Prediction Network (HPNet), to understand how spatiotemporal memories might be learned and encoded in the recurrent circuits in the visual cortical hierarchy for predicting future video frames. This neurally inspired model operates in the analysis-by-synthesis framework. It contains a feed-forward path that computes and encodes spatiotemporal features of successive complexity and a feedback path for the successive levels to project their interpretations to the level below. Within each level, the feed-forward path and the feedback path intersect in a recurrent gated circuit, instantiated in a LSTM module, to generate a prediction or explanation of the incoming signals. The network learns its internal model of the world by minimizing the errors of its prediction of the incoming signals at each level of the hierarchy. We found that hierarchical interaction in the network increases semantic clustering of global movement patterns in the population codes of the units along the hierarchy, even in the earliest module. This facilitates the learning of relationships among movement patterns, yielding state-of-the-art performance in long range video sequence predictions in the benchmark datasets. The network model automatically reproduces a variety of prediction suppression and familiarity suppression neurophysiological phenomena observed in the visual cortex, suggesting that hierarchical prediction might indeed be an important principle for representational learning in the visual cortex.

研究动机与目标

• 理解通过预测学习在视觉皮层层级中如何编码时空记忆。
• 开发一种生物可解释的深度学习模型，通过最小化预测误差学习世界表征。
• 研究分层反馈与前馈交互是否增强运动模式的语义聚类。
• 评估模型在长时序视频序列预测基准上的性能。
• 确定模型是否复现如预测抑制与熟悉度抑制等神经生理现象。

提出的方法

• HPNet采用分层架构，每一层包含前向路径用于特征提取和反馈路径用于自顶向下的预测。
• 每一层使用基于LSTM的循环门控电路，将前向输入与反馈预测整合为统一表征。
• 通过反向传播调整内部权重，最小化各层的预测误差，实现世界模型学习。
• 反馈路径将高层解释投射至低层，实现上下文理解并优化局部预测。
• 模型在分析-合成框架下运行，通过生成预测并与输入信号比较，优化内部表征。
• 随层级加深，逐步编码更复杂的时空特征，早期模块已能展现全局运动模式的语义聚类。

实验结果

研究问题

• RQ1 分层循环网络能否通过最小化预测误差学习并预测复杂的时空序列？
• RQ2 分层反馈交互如何改善群体编码中运动模式的语义聚类？
• RQ3 HPNet在长时序视频序列预测中相较于现有模型的性能提升程度如何？
• RQ4 模型是否能复现如预测抑制与熟悉度抑制等神经生理现象？
• RQ5 分层结构能否解释视觉皮层中抽象表征的出现？

主要发现

• HPNet在基准数据集上的长时序视频序列预测任务中达到最先进性能。
• 分层交互显著增强了即使在最浅层网络模块中全局运动模式的语义聚类。
• 模型自动复现了预测抑制与熟悉度抑制，与视觉皮层中的神经生理观察一致。
• 各层中的循环门控电路成功通过整合前向与反馈信号生成预测。
• 分析-合成框架通过在分层级别间最小化误差，实现有效的世界模型学习。
• 随着层级加深，网络内部表征逐渐表现出更高的抽象性与上下文感知能力。