[论文解读] Approximate Hubel-Wiesel Modules and the Data Structures of Neural Computation

Joel Z. Leibo, Julien Cornebise+2 more|arXiv (Cornell University)|Dec 28, 2015

Neural dynamics and brain function参考文献 3被引用 4

一句话总结

本文提出了一种统一的算法框架，通过将腹侧视觉通路和海马体建模为同一基础数据结构——近似关联记忆——的近似，实现了感知与记忆的关联。该框架引入了受Hubel-Wiesel启发的模块，通过分层特征抽象学习不变表示，其中海马体实现快速学习，新皮层实现缓慢学习，从而实现对不变性的稳健学习与容量受限的记忆回溯。

ABSTRACT

This paper describes a framework for modeling the interface between perception and memory on the algorithmic level of analysis. It is consistent with phenomena associated with many different brain regions. These include view-dependence (and invariance) effects in visual psychophysics and inferotemporal cortex physiology, as well as episodic memory recall interference effects associated with the medial temporal lobe. The perspective developed here relies on a novel interpretation of Hubel and Wiesel's conjecture for how receptive fields tuned to complex objects, and invariant to details, could be achieved. It complements existing accounts of two-speed learning systems in neocortex and hippocampus (e.g., McClelland et al. 1995) while significantly expanding their scope to encompass a unified view of the entire pathway from V1 to hippocampus.

研究动机与目标

• 通过统一其算法功能，弥合感知（腹侧通路）与记忆（海马体）之间的计算鸿沟。
• 通过将记忆模型建立在生物上合理的感知表征基础上，解决现有模型使用抽象输入的局限性。
• 解释为何不同学习速度（海马体中快速，新皮层中缓慢）可从同一核心数据结构的近似中自然产生。
• 通过分层关联模块，提供一种生物上合理的不变物体识别与情景记忆机制。
• 通过共享计算框架，调和前馈视觉模型与海马体功能（如回放与巩固）之间的矛盾。

提出的方法

• 提出一种分层关联模块架构，其中每一层学习将相似的输入特征聚类为更高阶的表征，受Hubel-Wiesel感受野的启发。
• 通过局部敏感哈希（LSH）实现近似最近邻搜索，模拟从简单细胞到复杂细胞表征的转变，从而实现对输入变化的不变性。
• 引入同一数据结构的两种不同近似：一种针对海马体的快速、高容量学习（使用LSH），另一种针对新皮层的缓慢、稳定学习。
• 采用前馈、非循环模型，解释从V1（100–200ms）到MTL（200–500ms）的神经元选择性延迟逐渐增加的现象，与生理数据一致。
• 在识别任务中使用阈值化余弦相似度作为分类器，以评估在旋转、遮挡和背景变化下的不变性表现。
• 利用无监督学习建模腹侧通路如何在无显式误差信号的情况下学习不变特征，同时承认在建模自上而下效应方面的局限性。

实验结果

研究问题

• RQ1 如何通过单一算法框架统一感知与记忆，以同时解释不变表征学习与情景记忆回溯？
• RQ2 哪些生物上合理的机制使大脑能够在保持记忆容量的同时，对输入变化（如旋转、遮挡）实现不变性？
• RQ3 为何不同脑区（如海马体与新皮层）表现出不同的学习速度？这一现象能否通过同一核心数据结构的近似得到解释？
• RQ4 前馈模型在多大程度上能够解释在短暂刺激呈现下观察到的MTL神经元选择性延迟与行为效应？
• RQ5 腹侧通路的感知表征在多大程度上约束并改善了内侧颞叶情景记忆模型？

主要发现

• 该框架通过使用近似关联记忆进行分层特征抽象，解释了视觉心理物理学中的视点依赖性与不变性效应，以及颞下皮层的生理现象。
• 基于LSH的近似方法可高效计算输入向量与存储样本之间的相似性，将复杂细胞感受野建模为近似关联映射。
• 模型通过特征压缩解释了皮层传入的容量限制，通过LSH误匹配率解释了海马体的容量限制，将生物约束与计算权衡联系起来。
• 在SUFR基准上的模拟显示，模型在偏航旋转、自然背景和遮挡条件下均表现稳健，阈值化余弦相似度在训练集上实现了最优准确率。
• 神经元选择性延迟从早期视觉区域的100–200ms增加到MTL的200–500ms，与前馈整合时间及多阶段处理一致，即使在无反馈环路的情况下亦然。
• 海马体的回放可能通过偏向新皮层学习，使其更关注奖励性或显著的事件，从而绕过环境统计规律，实现目标导向的表征学习。