[論文レビュー] DAMNED: A Distributed and Multithreaded Neural Event-Driven simulation framework

Anthony Mouraud, Didier Puzenat+1 more|arXiv (Cornell University)|Dec 5, 2005

Advanced Memory and Neural Computing参考文献 21被引用数 5

ひとこと要約

DAMNED は、イベント駆動型シミュレーションと二段階の並列処理（プロセッサ間の分散マッピングとニューロンごとのローカルマルチスレーディング）を組み合わせた大規模なスパikingニューラルネットワーク（SNN）の分散型・マルチスレッド型シミュレーションフレームワークである。因果関係に基づくイベントスケジューリングにより同期バリアを排除し、中央集権的なコントローラーや同期のオーバーヘッドがなく、効率的でスケーラブルなSNNシミュレーションを可能にする。

ABSTRACT

In a Spiking Neural Networks (SNN), spike emissions are sparsely and irregularly distributed both in time and in the network architecture. Since a current feature of SNNs is a low average activity, efficient implementations of SNNs are usually based on an Event-Driven Simulation (EDS). On the other hand, simulations of large scale neural networks can take advantage of distributing the neurons on a set of processors (either workstation cluster or parallel computer). This article presents DAMNED, a large scale SNN simulation framework able to gather the benefits of EDS and parallel computing. Two levels of parallelism are combined: Distributed mapping of the neural topology, at the network level, and local multithreaded allocation of resources for simultaneous processing of events, at the neuron level. Based on the causality of events, a distributed solution is proposed for solving the complex problem of scheduling without synchronization barrier.

研究の動機と目的

• 大規模ネットワークにおける時間駆動型SNNシミュレーションの計算非効率性を解消すること。
• 分散SNNシミュレーションにおける同期ボトルネックおよび中央集権的コントローラーを排除すること。
• 粗粒度の分散処理と細粒度のマルチスレーディングを併用することで、生物学的に妥当なSNNの効率的でスケーラブルなシミュレーションを可能にすること。
• 高性能で汎用的なシミュレーションフレームワークとして、多様なスパikingニューロンモデルをサポートすること。

提案手法

• MPIを用いたプロセッサ間通信により、ニューラルネットワークのトポロジーを複数のプロセッサに分散配置する。
• 各プロセッサごとにローカルマルチスレーディングを実装し、ニューロンイベントの並列処理を可能にする。
• 同期バリアや中央コントローラーを必要としないように、因果関係に基づく計算スケジューリングを採用する。
• スパイクイベントメッセージを介したクロックベースの調整メカニズムを用い、ネットワーク全体の進行状況を追跡する。
• ローカルおよびグローバルなイベントタイミングに基づいて、必要最小限のときのみ処理を延期する計算許可アルゴリズムを適用する。
• 優先度ベースのスレッド管理システムを用い、正しいイベント処理順序を保証するとともに、レースコンディションを回避する。

実験結果

リサーチクエスチョン

• RQ1 大規模SNNのイベント駆動型シミュレーションを、同期のオーバーヘッドを導入せずに効率的に並列化する方法は何か？
• RQ2 分散SNNシミュレーションが中央スケジューラーを必要とせず、因果関係と正しさを維持するためのメカニズムは何か？
• RQ3 各プロセッサ上でニューロンレベルのマルチスレーディングを適用することで、イベント駆動型SNNシミュレーションの性能が向上するか？
• RQ4 分散プロセッサ間でローカルおよびグローバルなタイミングをどのように調整すれば、正しいイベント処理順序を保証できるか？
• RQ5 同期バリアを回避することで、大規模SNNシミュレーションにおけるスケーラビリティとパフォーマンスに与える影響は何か？

主な発見

• DAMNED は、イベントの因果関係に依存することで、分散SNNシミュレーションにおける中央集権的コントローラーや同期バリアの必要性を完全に排除した。
• フレームワークは粗粒度の分散処理と細粒度のマルチスレーディングの両方をサポートしており、現代の並列アーキテクチャを効果的に活用できる。
• 計算許可は、ローカルおよびリモートのイベント時刻を動的にチェックするアルゴリズムにより管理され、ブロッキングを伴わず正しさを保証する。
• クロックメッセージとイベントベースの調整を用いることで、過剰な問い合わせトラフィックによるネットワークの過負荷を防止する。
• シミュレータは、基本的なスパikingニューロンモデルを用いたトロイSNNで検証され、機能的正しさが確認された。
• 今後の課題として、ワークステーションクラスターやハイパフォーマンスコンputィングシステムにおけるパフォーマンス評価を計画しており、スルーブプ測定も実施する予定である。