[论文解读] Computational Tradeoffs in Biological Neural Networks: Self-Stabilizing Winner-Take-All Networks

Nancy Lynch, Cameron Musco+1 more|arXiv (Cornell University)|Oct 6, 2016

Advanced Memory and Neural Computing参考文献 28被引用 5

一句话总结

本文提出一种生物上合理的随机脉冲神经网络（SNN）模型，用于研究赢家通吃（WTA）网络中的计算权衡，重点分析抑制复杂度对收敛时间的影响。提出了两种构造方法：一种使用 O(log^{1/θ}n) 个抑制神经元，实现 O(θ) 的期望收敛时间；另一种使用 O(θ) 个抑制神经元，实现 O(log^{1/θ}n) 的收敛时间。此外，证明了一个近乎紧致的下界，表明使用 ≥ log log n 个抑制神经元的网络至少需要 Ω(log log n) 轮才能收敛，揭示了 WTA 效率的根本限制。

ABSTRACT

We initiate a line of investigation into biological neural networks from an algorithmic perspective. We develop a simplified but biologically plausible model for distributed computation in stochastic spiking neural networks and study tradeoffs between computation time and network complexity in this model. Our aim is to abstract real neural networks in a way that, while not capturing all interesting features, preserves high-level behavior and allows us to make biologically relevant conclusions. In this paper, we focus on the important `winner-take-all' (WTA) problem, which is analogous to a neural leader election unit: a network consisting of $n$ input neurons and $n$ corresponding output neurons must converge to a state in which a single output corresponding to a firing input (the `winner') fires, while all other outputs remain silent. Neural circuits for WTA rely on inhibitory neurons, which suppress the activity of competing outputs and drive the network towards a converged state with a single firing winner. We attempt to understand how the number of inhibitors used affects network convergence time. We show that it is possible to significantly outperform naive WTA constructions through a more refined use of inhibition, solving the problem in $O(θ)$ rounds in expectation with just $O(\log^{1/θ} n)$ inhibitors for any $θ$. An alternative construction gives convergence in $O(\log^{1/θ} n)$ rounds with $O(θ)$ inhibitors. We compliment these upper bounds with our main technical contribution, a nearly matching lower bound for networks using $\ge \log\log n$ inhibitors. Our lower bound uses familiar indistinguishability and locality arguments from distributed computing theory. It lets us derive a number of interesting conclusions about the structure of any network solving WTA with good probability, and the use of randomness and inhibition within such a network.

研究动机与目标

• 研究生物神经网络中计算时间与网络复杂度之间的算法权衡。
• 在生物上合理、随机脉冲神经网络（SNN）框架下建模赢家通吃（WTA）计算。
• 分析抑制神经元数量对 WTA 网络收敛时间的影响。
• 建立 WTA 收敛的紧致理论边界，揭示效率的根本限制。
• 通过随机抑制证明自稳定性——即从任意初始状态收敛到正确状态。

提出的方法

• 开发一种随机脉冲神经网络（SNN）模型，其中神经元根据膜电位以概率方式放电，使用 Sigmoid 型放电函数。
• 将 WTA 建模为一个分布式计算问题，包含 n 个输入神经元、n 个输出神经元和 α 个辅助抑制神经元。
• 引入两阶段子轮机制：第一阶段，辅助神经元根据输入活动放电；第二阶段，输出神经元根据抑制信号以随机方式放电。
• 通过执行树遍历分析收敛性，追踪各轮中概率质量的分布，并识别非弱 WTA 状态。
• 应用分布式计算中的不可区分性与局部性论证，推导收敛时间的下界。
• 采用摊销概率分析，限制非弱 WTA 配置的权重，从而得出主要下界。

实验结果

研究问题

• RQ1 在随机脉冲模型中，抑制神经元的数量如何影响 WTA 网络的期望收敛时间？
• RQ2 能否使用子线性数量的抑制神经元实现在亚线性时间内求解 WTA？其权衡关系如何？
• RQ3 当使用 ≥ log log n 个抑制神经元时，WTA 收敛时间的根本下界是什么？
• RQ4 随机脉冲行为如何影响 WTA 网络的稳定性和收敛性？
• RQ5 WTA 网络是否具备自稳定能力，即能否从任意任意初始配置收敛到正确状态？

主要发现

• 本文构造的 WTA 网络在使用 O(log^{1/θ}n) 个抑制神经元的情况下，可在 O(θ) 的期望轮数内收敛，其中 θ > 0 为任意正数。
• 另一种构造方法在仅使用 O(θ) 个抑制神经元的情况下，实现 O(log^{1/θ}n) 的收敛时间，展示了时间与抑制神经元数量之间的权衡。
• 证明了一个近乎匹配的下界：任何使用 ≥ log log n 个抑制神经元的 WTA 网络，至少需要 Ω(log log n) 的期望轮数才能收敛。
• 该下界通过将分布式计算中的不可区分性与局部性论证适配到神经网络场景而推导得出。
• 分析表明，抑制神经元较少的网络必须依赖概率性稳定机制，且在该模型下自稳定性是可实现的。
• 当存在多个活跃输出时，完全重置（无输出放电）的概率下界为 Θ(1/(log log n)^3)，从而实现对收敛过程的控制。