[论文解读] DAMNED: A Distributed and Multithreaded Neural Event-Driven simulation framework

Anthony Mouraud, Didier Puzenat+1 more|arXiv (Cornell University)|Dec 5, 2005

Advanced Memory and Neural Computing参考文献 21被引用 5

一句话总结

DAMNED 是一个用于大规模脉冲神经网络（SNNs）的分布式多线程仿真框架，结合了事件驱动仿真与两级并行：跨处理器的分布式映射和每个神经元的本地多线程处理。它通过基于因果关系的事件调度，消除了同步障碍，实现了无需集中控制器或同步开销的高效、可扩展的 SNN 仿真。

ABSTRACT

In a Spiking Neural Networks (SNN), spike emissions are sparsely and irregularly distributed both in time and in the network architecture. Since a current feature of SNNs is a low average activity, efficient implementations of SNNs are usually based on an Event-Driven Simulation (EDS). On the other hand, simulations of large scale neural networks can take advantage of distributing the neurons on a set of processors (either workstation cluster or parallel computer). This article presents DAMNED, a large scale SNN simulation framework able to gather the benefits of EDS and parallel computing. Two levels of parallelism are combined: Distributed mapping of the neural topology, at the network level, and local multithreaded allocation of resources for simultaneous processing of events, at the neuron level. Based on the causality of events, a distributed solution is proposed for solving the complex problem of scheduling without synchronization barrier.

研究动机与目标

• 解决大规模网络上时间驱动型 SNN 仿真存在的计算效率低下问题。
• 消除分布式 SNN 仿真中的同步瓶颈和集中式控制器。
• 通过粗粒度分布与细粒度多线程结合，实现对生物合理 SNN 的高效、可扩展仿真。
• 在高性能、通用的仿真框架中支持多种脉冲神经元模型。

提出的方法

• 使用 MPI 实现处理器间的通信，将神经网络拓扑分布到多个处理器上。
• 在每个处理器上实现本地多线程处理，以支持神经元事件的并发处理。
• 利用事件因果关系进行计算调度，避免同步障碍和中心控制器。
• 通过脉冲事件消息实现基于时钟的协调机制，以跟踪全网范围的进度。
• 采用计算授权算法，仅在必要时延迟处理，依据本地和全局事件时间进行决策。
• 使用基于优先级的线程管理机制，确保事件处理顺序正确，并避免竞争条件。

实验结果

研究问题

• RQ1 如何在不引入同步开销的前提下，高效地并行化大规模 SNN 的事件驱动仿真？
• RQ2 哪些机制使得分布式 SNN 仿真能够在无集中调度器的情况下保持因果性和正确性？
• RQ3 在每个处理器上对神经元级别进行多线程处理，是否能提升事件驱动 SNN 仿真中的性能？
• RQ4 如何协调分布在各处理器上的本地与全局时间，以确保事件处理顺序的正确性？
• RQ5 避免同步障碍对大规模 SNN 仿真中的可扩展性和性能有何影响？

主要发现

• DAMNED 通过依赖事件因果关系，成功消除了分布式 SNN 仿真中对集中控制器或同步障碍的需求。
• 该框架同时支持粗粒度分布与细粒度多线程，能够高效利用现代并行架构。
• 计算授权通过动态算法管理，检查本地和远程事件时间，确保正确性且无需阻塞。
• 使用时钟消息和事件协调机制，防止因过多查询流量导致的网络拥塞。
• 该仿真器已在包含基本脉冲神经元模型的小型 SNN 上完成验证，证明了其功能正确性。
• 未来工作将包括在工作站集群和高性能计算系统上的性能评估，计划进行加速比测量。