[论文解读] Deep Predictive Learning: A Comprehensive Model of Three Visual Streams

Randall C. O’Reilly, Dean Wyatte+1 more|arXiv (Cornell University)|Sep 14, 2017

Neural dynamics and brain function参考文献 235被引用 31

一句话总结

该论文提出了一种基于生物学机制的深度预测学习模型，利用100毫秒（α节律）的预测误差驱动跨三个视觉通路——‘是什么’（What）、‘在哪里’（Where）以及‘是什么*在哪里’（What*Where）——的突触可塑性，从而仅通过被动视觉体验即可实现自组织的不变性物体表征。丘脑枕部（pulvinar thalamus）充当预测投影屏，其第6层皮层丘脑反馈产生预测信号，时间差信号驱动基于局部激活规则的误差学习，而这些规则源自生物物理原理。

ABSTRACT

How does the neocortex learn and develop the foundations of all our high-level cognitive abilities? We present a comprehensive framework spanning biological, computational, and cognitive levels, with a clear theoretical continuity between levels, providing a coherent answer directly supported by extensive data at each level. Learning is based on making predictions about what the senses will report at 100 msec (alpha frequency) intervals, and adapting synaptic weights to improve prediction accuracy. The pulvinar nucleus of the thalamus serves as a projection screen upon which predictions are generated, through deep-layer 6 corticothalamic inputs from multiple brain areas and levels of abstraction. The sparse driving inputs from layer 5 intrinsic bursting neurons provide the target signal, and the temporal difference between it and the prediction reverberates throughout the cortex, driving synaptic changes that approximate error backpropagation, using only local activation signals in equations derived directly from a detailed biophysical model. In vision, predictive learning requires a carefully-organized developmental progression and anatomical organization of three pathways (What, Where, and What * Where), according to two central principles: top-down input from compact, high-level, abstract representations is essential for accurate prediction of low-level sensory inputs; and the collective, low-level prediction error must be progressively and opportunistically partitioned to enable extraction of separable factors that drive the learning of further high-level abstractions. Our model self-organized systematic invariant object representations of 100 different objects from simple movies, accounts for a wide range of data, and makes many testable predictions.

研究动机与目标

• 开发一个统一的、生物约束的框架，连接视觉学习的生物学、计算与认知层次。
• 解释不变性物体表征如何从无显式类别标签或监督的被动感官体验中产生。
• 证明基于100毫秒α节律预测误差的预测学习能够驱动高层次视觉抽象的发展。
• 将背侧通路（Where）、腹侧通路（What）以及一个新提出的‘What*Where’通路整合进单一的预测学习架构中。
• 提供一个可检验的、机制性的解释，说明新皮层学习如何支持知觉与认知发展。

提出的方法

• 模型采用100毫秒（α频率）的时间窗口进行预测学习，每周期通过第6层皮层丘脑投射的反馈生成预测。
• 丘脑枕部核作为丘脑的‘投影屏’，在其中合成并比较来自多个皮层区域的预测信号。
• 预测误差通过稀疏的内在爆发性第5层输入（目标信号）与丘脑枕部预测信号之间的时间差进行计算。
• 突触可塑性由局部激活信号驱动，这些信号近似于误差反向传播，其来源为皮层微环路的详细生物物理模型。
• 模型实现了分层的、渐进的低水平预测误差分割，以提取可分离的高层次抽象（如物体身份、位置、运动）。
• 架构中嵌入了发育进展过程，其中高层次、紧凑的表征引导对低水平感官输入的准确预测。

实验结果

研究问题

• RQ1 新皮层如何在无显式类别标签的情况下，从被动视觉体验中学习不变性物体表征？
• RQ2 丘脑枕部在跨视觉通路的预测编码中起什么作用？
• RQ3 高层表征的自上而下预测如何实现对低水平感官输入的准确预测？
• RQ4 基于α节律时间的时序差信号能否以生物合理的方式驱动突触可塑性？
• RQ5 背侧（Where）、腹侧（What）以及整合的‘What*Where’通路如何通过预测学习共同发育？

主要发现

• 该模型成功地从包含随机运动和扫视的简单电影中自组织地构建了100种不同物体的系统性、不变性表征。
• 丘脑枕部核有效充当预测投影屏，在100毫秒的间隔内整合来自多个皮层区域的预测信号。
• 预测误差信号通过目标输入与预测信号之间的时间差计算得出，驱动突触可塑性，其机制近似于仅使用局部信号的反向传播。
• 该模型能够解释广泛的视觉处理实证数据，包括LIP、MT、MST和IT皮层的功能角色。
• 该框架解释了如何从集体预测误差中逐步提取可分离的因素（如物体身份与位置）。
• 该模型提出了大量可检验的预测，包括第6层皮层丘脑反馈在生成预测中的作用，以及高层抽象对准确低水平预测的必要性。