[论文解读] Emergence of scale-free properties in Hebbian networks

Gábor Szirtes, Zsolt Palotai+1 more|ArXiv.org|Aug 11, 2003

Neural dynamics and brain function参考文献 30被引用 4

一句话总结

该论文表明，仅由外部随机噪声驱动的赫布型网络中的突触时序可塑性（STDP）能够自发生成无标度和小世界网络结构。该模型称为HebbNet，表明噪声诱导的可塑性可使网络自组织为高效、鲁棒的网络架构，而无需显式的生长或重连机制。

ABSTRACT

The fundamental `plasticity' of the nervous system (i.e high adaptability at different structural levels) is primarily based on Hebbian learning mechanisms that modify the synaptic connections. The modifications rely on neural activity and assign a special dynamic behavior to the neural networks. Another striking feature of the nervous system is that spike based information transmission, which is supposed to be robust against noise, is noisy in itself: the variance of the spiking of the individual neurons is surprisingly large which may deteriorate the adequate functioning of the Hebbian mechanisms. In this paper we focus on networks in which Hebbian-like adaptation is induced only by external random noise and study spike-timing dependent synaptic plasticity. We show that such `HebbNets' are able to develop a broad range of network structures, including scale-free small-world networks. The development of such network structures may provide an explanation of the role of noise and its interplay with Hebbian plasticity. We also argue that this model can be seen as a unification of the famous Watts-Strogatz and preferential attachment models of small-world nets.

研究动机与目标

• 研究外部随机噪声是否能够驱动赫布型神经网络的结构自组织。
• 确定在噪声条件下，突触时序可塑性（STDP）是否能导致无标度和小世界网络拓扑的出现。
• 探讨噪声在实现无需显式生长或重连规则的高效、自适应网络形成中的作用。
• 通过一种生物上合理的学习机制，统一优先连接模型与Watts-Strogatz模型。
• 评估在不同可塑性参数下，所涌现网络结构的鲁棒性与稳定性。

提出的方法

• 模拟一个具有N=200个节点的离散时间积分-放电神经网络，其中活动通过加权输入求和演化：$ \frac{\Delta a_i}{\Delta t} = \sum_j w_{ij}a_j^s + x_i^{(ext)} $。
• 应用具有时间依赖核函数$ K(t_j - t_i) $的STDP规则来更新突触权重：$ \frac{\Delta w_{ij}}{\Delta t} = \sum_{(t_i,t_j)} K(t_j - t_i) a_i^{t_i,s} a_j^{t_j,s} $。
• 使用随机、无结构的外部输入（噪声）驱动网络活动，且无时间或空间相关性。
• 实施全局活动约束以归一化放电率，尽管模拟结果显示其对结果影响甚微。
• 采用具有明显正（LTP）和负（LTD）区域的核函数，以模拟时序依赖的突触可塑性。
• 通过度分布、聚类系数和特征路径长度分析网络结构，以识别无标度和小世界特性。

实验结果

研究问题

• RQ1 仅由纯随机噪声驱动的赫布型学习能否导致无标度和小世界网络结构的出现？
• RQ2 噪声与STDP之间的相互作用如何促进神经网络的结构自组织？
• RQ3 HebbNet模型在多大程度上能够统一优先连接与Watts-Strogatz网络形成模型？
• RQ4 STDP核函数中正区域与负区域面积之比（$ r_{A^+/A^-} $）在决定网络稳定性和拓扑结构方面起什么作用？
• RQ5 噪声能否作为神经网络中寻找最优连接模式的连续搜索机制？

主要发现

• 由外部随机噪声和STDP驱动的赫布型网络自发形成无标度度分布，表明其具有幂律连接模式。
• 这些网络表现出小世界特性，即使在无显式重连或生长机制的情况下，也具有高聚类性和短的特征路径长度。
• 所涌现的网络结构在$ r_{A^+/A^-} $的广泛取值范围内均表现出鲁棒性，表明其对参数扰动具有稳定性。
• 该模型通过结合连续权重更新与噪声驱动的探索，统一了优先连接与Watts-Strogatz机制。
• 噪声充当连续搜索机制，使网络能够逃离局部极小值，并维持动态、自适应的连接模式。
• 该系统在LTP（相关模式的学习）与LTD（弱模式的遗忘）之间实现平衡，从而实现稳定、稀疏且高效的网络组织。