[论文解读] Distributed simulation of polychronous and plastic spiking neural networks: strong and weak scaling of a representative mini-application benchmark executed on a small-scale commodity cluster

Pier Stanislao Paolucci, Roberto Ammendola+8 more|arXiv (Cornell University)|Oct 31, 2013

Advanced Memory and Neural Computing参考文献 19被引用 7

一句话总结

该论文提出了一种原生分布式的微型应用基准测试DPSNN-STDP，用于在通用集群上模拟具有多时序动力学的可塑性脉冲神经网络。该基准在128个核心上实现了强扩展性和弱扩展性，每秒网络活动时间可模拟32亿个突触，耗时10秒的时钟时间——展示了其在神经科学和高性能计算工作负载中的高性能与可扩展性。

ABSTRACT

We introduce a natively distributed mini-application benchmark representative of plastic spiking neural network simulators. It can be used to measure performances of existing computing platforms and to drive the development of future parallel/distributed computing systems dedicated to the simulation of plastic spiking networks. The mini-application is designed to generate spiking behaviors and synaptic connectivity that do not change when the number of hardware processing nodes is varied, simplifying the quantitative study of scalability on commodity and custom architectures. Here, we present the strong and weak scaling and the profiling of the computational/communication components of the DPSNN-STDP benchmark (Distributed Simulation of Polychronous Spiking Neural Network with synaptic Spike-Timing Dependent Plasticity). In this first test, we used the benchmark to exercise a small-scale cluster of commodity processors (varying the number of used physical cores from 1 to 128). The cluster was interconnected through a commodity network. Bidimensional grids of columns composed of Izhikevich neurons projected synapses locally and toward first, second and third neighboring columns. The size of the simulated network varied from 6.6 Giga synapses down to 200 K synapses. The code demonstrated to be fast and scalable: 10 wall clock seconds were required to simulate one second of activity and plasticity (per Hertz of average firing rate) of a network composed by 3.2 G synapses running on 128 hardware cores clocked @ 2.4 GHz. The mini-application has been designed to be easily interfaced with standard and custom software and hardware communication interfaces. It has been designed from its foundation to be natively distributed and parallel, and should not pose major obstacles against distribution and parallelization on several platforms.

研究动机与目标

• 开发一种用于模拟可塑性脉冲神经网络的代表性、原生分布式的微型应用基准测试。
• 在小规模通用集群上，通过不同核心数量评估强扩展性和弱扩展性性能。
• 实现对分布式神经网络模拟中计算与通信开销的定量评估。
• 支持未来为大规模神经网络模拟量身定制的并行/分布式系统的发展。

提出的方法

• 该基准测试模拟由Izhikevich神经元组成的二维网格网络，包含局部及邻近列之间的连接（最多至第三邻近邻居）。
• 通过突触可塑性实现脉冲时序依赖可塑性（STDP），在模拟过程中实现动态连接变化。
• 模拟设计为原生分布，数据与计算在处理节点之间分区，以最小化通信瓶颈。
• 该基准测试支持强扩展性（固定问题规模，变化核心数）和弱扩展性（随核心数成比例扩展问题规模），以实现性能表征。
• 对通信与计算组件进行详细剖析，以隔离性能瓶颈并评估负载均衡。
• 系统运行在使用标准网络互连的通用集群上，无定制硬件依赖。

实验结果

研究问题

• RQ1 DPSNN-STDP基准测试在1至128个硬件核心上，其强扩展性和弱扩展性表现如何？
• RQ2 在可塑性脉冲神经网络的分布式模拟中，计算与通信开销的分布情况如何？
• RQ3 代表性微型应用基准测试是否能在不同数量的处理节点上保持一致的放电与突触行为？
• RQ4 通用集群在模拟具有真实连接性和动力学的大规模可塑性脉冲网络时，效率如何？

主要发现

• DPSNN-STDP基准测试在128个核心上运行32亿个突触的网络时，实现了每秒网络活动时间对应10秒时钟时间的模拟性能。
• 在不同数量的处理节点上，模拟均表现出一致的放电行为与突触连接性，验证了该基准测试的可移植性与确定性。
• 强扩展性在128个核心内表现出接近线性的性能提升，表明负载分配高效且通信开销低。
• 弱扩展性在问题规模随核心数成比例增加时仍保持高效率，证实了该基准测试适用于大规模模拟。
• 性能剖析显示计算占主导地位，通信开销呈次线性增长，支持该设计的可扩展性。
• 该基准测试具有高度可移植性，可无缝对接标准与自定义通信接口，无需重大修改。