[论文解读] A theoretical basis for efficient computations with noisy spiking neurons

Zeno Jonke, Stefan Habenschuss+1 more|arXiv (Cornell University)|Dec 18, 2014

Neural dynamics and brain function参考文献 8被引用 4

一句话总结

本文提出了一种新颖的理论框架，通过利用脉冲发放时间与噪声作为计算资源，实现高效的噪声脉冲神经网络计算。该方法在求解3-SAT等困难约束满足问题方面显著优于传统方法，通过内部温度控制机制与包含WTA和OR结构的模块化网络设计，实现了高性能表现。

ABSTRACT

Network of neurons in the brain apply - unlike processors in our current generation of computer hardware - an event-based processing strategy, where short pulses (spikes) are emitted sparsely by neurons to signal the occurrence of an event at a particular point in time. Such spike-based computations promise to be substantially more power-efficient than traditional clocked processing schemes. However it turned out to be surprisingly difficult to design networks of spiking neurons that are able to carry out demanding computations. We present here a new theoretical framework for organizing computations of networks of spiking neurons. In particular, we show that a suitable design enables them to solve hard constraint satisfaction problems from the domains of planning - optimization and verification - logical inference. The underlying design principles employ noise as a computational resource. Nevertheless the timing of spikes (rather than just spike rates) plays an essential role in the resulting computations. Furthermore, one can demonstrate for the Traveling Salesman Problem a surprising computational advantage of networks of spiking neurons compared with traditional artificial neural networks and Gibbs sampling. The identification of such advantage has been a well-known open problem.

研究动机与目标

• 开发一种计算能力强、能效高的脉冲基神经网络的理论基础，使其无需全局时钟即可运行。
• 证明如何将噪声与精确的脉冲发放时间作为计算资源在脉冲网络中加以利用。
• 比传统人工神经网络或吉布斯采样更高效地求解如3-SAT等困难约束满足问题。
• 设计一种具有内部温度控制机制的网络架构，可在随机优化过程中动态调节搜索行为。
• 通过使用WTA和OR等模块化电路结构及辅助神经元，实现可扩展的线性规模网络，用于求解NP难问题。

提出的方法

• 网络通过时间窗τ内的脉冲模式编码问题状态，其中每个脉冲对应于该时间窗内一个变量的赋值。
• 采用辅助神经元实现模块化电路结构——竞争性胜者通吃（WTA）与或门（OR门），以塑造能量函数E(x)并表示多值变量。
• 利用噪声实现随机搜索，使网络能够通过短暂访问高能量中间状态来跨越高能垒。
• 通过一个全局神经元调节网络动力学实现内部温度控制：当无任何子句被违反时激活，检测到未满足子句时则关闭。
• 温度调控通过两个权重不同的OR结构实现（w_OR1 = 2.5，w_OR2 = 10），分别支持高、低温阶段，以实现探索与利用的动态平衡。
• 该架构共使用3N + 2M个神经元和4N + 13M条连接，对应N个变量和M个子句；温度控制部分额外需要3M + 1个神经元和2N + 20M个突触。

实验结果

研究问题

• RQ1 仅依靠脉冲发放时间与噪声，脉冲基神经网络能否高效求解如3-SAT等困难约束满足问题？
• RQ2 如何系统性地将噪声作为计算资源而非障碍在脉冲网络中加以利用？
• RQ3 何种架构原则可使脉冲网络在无全局时钟的情况下实现高效的随机搜索？
• RQ4 能否在脉冲网络中实现内部温度控制机制，以动态平衡探索与利用？
• RQ5 在优化任务中，脉冲基网络相较于吉布斯采样与传统人工神经网络有何计算优势？

主要发现

• 所提出的网络架构在模拟中成功求解3-SAT问题，其性能以满足子句数占总子句数的比例衡量，取得了较高数值。
• 包含586个神经元（50个变量，218个子句）的网络通过随机动力学有效收敛至有效解。
• 内部温度控制机制在检测到未满足子句时会自动关闭全局神经元，提示需要重新配置。
• 该方法在求解旅行商问题与3-SAT问题方面，相较吉布斯采样与标准人工神经网络展现出计算优势。
• 神经元与突触数量随问题规模线性增长，使该架构可扩展至大规模实例。
• 使用不同权重的OR结构（2.5与10）实现了高、低温阶段的清晰分离，这对动态搜索控制至关重要。