[论文解读] Learning and Inferring Relations in Cortical Networks

Peter U. Diehl, Matthew Cook|arXiv (Cornell University)|Aug 29, 2016

Neural dynamics and brain function参考文献 29被引用 8

一句话总结

该论文提出了一种生物学上合理的脉冲神经网络模型，通过在均匀的兴奋性-抑制性神经元模块中使用双向、基于STDP的可塑性，从群体编码输入中学习并推断关系结构。该网络自组织为一种关系推理系统，能够恢复噪声信号、整合线索，并实现全向推理——表明一种同质的皮层样架构可在无需预设任务特异性连接的情况下支持复杂、多功能的计算。

ABSTRACT

A pressing scientific challenge is to understand how brains work. Of particular interest is the neocortex,the part of the brain that is especially large in humans, capable of handling a wide variety of tasks including visual, auditory, language, motor, and abstract processing. These functionalities are processed in different self-organized regions of the neocortical sheet, and yet the anatomical structure carrying out the processing is relatively uniform across the sheet. We are at a loss to explain, simulate, or understand such a multi-functional homogeneous sheet-like computational structure - we do not have computational models which work in this way. Here we present an important step towards developing such models: we show how uniform modules of excitatory and inhibitory neurons can be connected bidirectionally in a network that, when exposed to input in the form of population codes, learns the input encodings as well as the relationships between the inputs. STDP learning rules lead the modules to self-organize into a relational network, which is able to infer missing inputs,restore noisy signals, decide between conflicting inputs, and combine cues to improve estimates. These networks show that it is possible for a homogeneous network of spiking units to self-organize so as to provide meaningful processing of its inputs. If such networks can be scaled up, they could provide an initial computational model relevant to the large scale anatomy of the neocortex.

研究动机与目标

• 开发一种新皮层计算模型，弥合生物学合理性与学习与推理功能通用性之间的差距。
• 解决一个统一、同质的脉冲神经元网络如何自组织以执行关系推理的挑战。
• 证明在相同神经模块之间存在双向、可塑连接的网络，可在无需预先架构特化的情况下学习并推断复杂输入关系。
• 通过符合生物学约束（如率编码、信号恢复和线索整合）来验证该模型。

提出的方法

• 网络使用1600个兴奋性与400个抑制性漏斗积分-放电神经元的相同模块，具有稀疏且可塑的连接。
• 分别对兴奋性和抑制性突触应用突触前-突触后时序依赖可塑性（STDP），并为预突触和后突触放电设定不同的学习规则。
• 采用两步归一化程序在学习过程中保持权重分布稳定，从而保留输入统计特性。
• 输入通过基于率的群体编码进行编码，使用泊松分布的脉冲序列，其发放率呈高斯调谐。
• 三重关系架构将输入群体（X, Y, Z）与隐藏关系群体（A, B, C, H）连接，支持双向推理。
• 通过重复暴露，网络学习如 (X + Y - Z) mod NE = 0 这类关系，从而可从任意缺失变量中进行推理。

实验结果

研究问题

• RQ1 一个统一的脉冲神经元网络能否自组织以从群体编码输入中学习并推断关系结构？
• RQ2 在同质网络中，双向、可塑连接如何支持可靠的信号恢复与线索整合？
• RQ3 STDP学习在递归网络中能在多大程度上实现关系中任意方向的推理，而不仅限于前向处理？
• RQ4 此类网络在符合生物学约束条件下，能否在学习复杂多变量关系时保持稳定的动力学？

主要发现

• 网络通过重复暴露成功学习并维持了如 (X + Y - Z) mod NE = 0 这类关系编码。
• 学习后，网络能恢复缺失或噪声的输入成分，表现为当32%的输入神经元被抑制时，输入模式得以恢复。
• 网络实现了有效的线索整合，通过结合多个输入提升估计精度，与生物数据一致。
• 系统表现出软竞争性竞争动力学，并维持非同步不规则放电，与体内皮层活动相符。
• 推理为全向：在已学习的关系中，任意变量均可从其他变量中推断，支持链式推理。
• 突触权重的归一化保持了网络稳定性，并确保学习与推理阶段的一致性能。