[논문 리뷰] DAMNED: A Distributed and Multithreaded Neural Event-Driven simulation framework

Anthony Mouraud, Didier Puzenat외 1명|arXiv (Cornell University)|2005. 12. 05.

Advanced Memory and Neural Computing참고 문헌 21인용 수 5

한 줄 요약

DAMNED는 분산 및 다중 스레드 기반 시뮬레이션 프레임워크로, 대규모 스파iking 신경망(SNNs)을 위한 것으로, 이벤트 기반 시뮬레이션과 이중 수준의 병렬 처리를 결합한다: 프로세서 간 분산 매핑과 각 뉴런당 국소적 다중 스레딩. 인과성 기반 이벤트 스케줄링을 통해 동기화 장벽을 제거함으로써 중앙 집중식 제어기나 동기화 오버헤드 없이 효율적이고 확장 가능한 SNN 시뮬레이션을 가능하게 한다.

ABSTRACT

In a Spiking Neural Networks (SNN), spike emissions are sparsely and irregularly distributed both in time and in the network architecture. Since a current feature of SNNs is a low average activity, efficient implementations of SNNs are usually based on an Event-Driven Simulation (EDS). On the other hand, simulations of large scale neural networks can take advantage of distributing the neurons on a set of processors (either workstation cluster or parallel computer). This article presents DAMNED, a large scale SNN simulation framework able to gather the benefits of EDS and parallel computing. Two levels of parallelism are combined: Distributed mapping of the neural topology, at the network level, and local multithreaded allocation of resources for simultaneous processing of events, at the neuron level. Based on the causality of events, a distributed solution is proposed for solving the complex problem of scheduling without synchronization barrier.

연구 동기 및 목표

• 대규모 네트워크에서 시간 기반 SNN 시뮬레이션의 계산 비효율성을 해결하기 위해.
• 분산 SNN 시뮬레이션에서 동기화 병목 현상과 중앙 집중식 제어기를 제거하기 위해.
• 거대 규모의 생물학적으로 타당한 SNN을 효율적이고 확장 가능하게 시뮬레이션하기 위해, 굵은 분포와 미세한 다중 스레딩을 모두 활용하기 위해.
• 고성능 일반 목적 시뮬레이션 프레임워크에서 다양한 스파이크 뉴런 모델을 지원하기 위해.

제안 방법

• MPI를 사용하여 프로세서 간 통신을 위한 상호작용을 통해 신경망 구조를 여러 프로세서에 분산한다.
• 각 프로세서당 국소적 다중 스레딩을 구현하여 뉴런 이벤트의 동시 처리를 가능하게 한다.
• 동기화 장벽이나 중앙 제어기 없이도 계산을 스케줄링하기 위해 인과성 기반 이벤트 스케줄링을 사용한다.
• 스파이크 이벤트 메시지를 통해 시계 기반의 조율 메커니즘을 도입하여 네트워크 전역의 진행 상황을 추적한다.
• 로컬 및 글로벌 이벤트 타이밍을 기반으로 필요할 때만 처리를 연기하는 계산 허가 알고리즘을 적용한다.
• 우선순위 기반 스레드 관리 시스템을 사용하여 올바른 이벤트 처리 순서를 보장하고 레이스 컨dition를 방지한다.

실험 결과

연구 질문

• RQ1 대규모 SNN의 이벤트 기반 시뮬레이션을 동기화 오버헤드 없이 효율적으로 병렬화할 수 있는 방법은 무엇인가?
• RQ2 분산 SNN 시뮬레이션에서 중앙 집중식 스케줄러 없이도 인과성과 정확성을 유지할 수 있는 메커니즘은 무엇인가?
• RQ3 각 프로세서에서 뉴런 수준의 다중 스레딩이 이벤트 기반 SNN 시뮬레이션의 성능 향상에 기여할 수 있는가?
• RQ4 분산된 프로세서 간에 로컬 및 글로벌 타이밍을 어떻게 조율하여 올바른 이벤트 처리 순서를 보장할 수 있는가?
• RQ5 대규모 SNN 시뮬레이션에서 동기화 장벽을 피할 경우 확장성과 성능에 어떤 영향을 미치는가?

주요 결과

• DAMNED는 인과성 기반 이벤트 스케줄링에 의존함으로써 분산 SNN 시뮬레이션에서 중앙 집중식 제어기나 동기화 장벽이 필요 없음을 성공적으로 입증했다.
• 이 프레임워크는 굵은 분포와 미세한 다중 스레딩을 모두 지원하여 현대의 병렬 아키텍처를 효율적으로 활용할 수 있다.
• 계산 허가가 동적 알고리즘을 통해 로컬 및 원격 이벤트 타이밍을 확인함으로써 블로킹 없이도 정확성을 보장한다.
• 시계 메시지와 이벤트 기반 조율을 사용함으로써 과도한 쿼리 트래픽로 인한 네트워크 오버헤드를 방지할 수 있다.
• 시뮬레이터는 기본 스파이크 뉴런 모델을 사용한 토이 SNN에서 검증되었으며, 기능적 정확성이 입증되었다.
• 향후 작업으로는 워크스테이션 클러스터와 고성능 컴퓨팅 시스템에서의 성능 평가가 계획되어 있으며, 스피드업 측정도 수행될 예정이다.