[論文レビュー] Distributed simulation of polychronous and plastic spiking neural networks: strong and weak scaling of a representative mini-application benchmark executed on a small-scale commodity cluster

Pier Stanislao Paolucci, Roberto Ammendola+8 more|arXiv (Cornell University)|Oct 31, 2013

Advanced Memory and Neural Computing参考文献 19被引用数 7

ひとこと要約

本論文は、コンmodityクラスタ上でポリクローネイスダイナミクスを示す可塑性のあるスパイクニューラルネットワークをネイティブに分散してシミュレートするためのミニアプリケーションベンチマーク、DPSNN-STDPを提示する。128コアで強いスケーリングと弱いスケーリングを達成し、ネットワーク活動の1秒あたり10秒のウォールクロック時間で32億のシナプスをシミュレートする。神経科学およびHPCワークロードにおける高いパフォーマンスとスケーラビリティを示している。

ABSTRACT

We introduce a natively distributed mini-application benchmark representative of plastic spiking neural network simulators. It can be used to measure performances of existing computing platforms and to drive the development of future parallel/distributed computing systems dedicated to the simulation of plastic spiking networks. The mini-application is designed to generate spiking behaviors and synaptic connectivity that do not change when the number of hardware processing nodes is varied, simplifying the quantitative study of scalability on commodity and custom architectures. Here, we present the strong and weak scaling and the profiling of the computational/communication components of the DPSNN-STDP benchmark (Distributed Simulation of Polychronous Spiking Neural Network with synaptic Spike-Timing Dependent Plasticity). In this first test, we used the benchmark to exercise a small-scale cluster of commodity processors (varying the number of used physical cores from 1 to 128). The cluster was interconnected through a commodity network. Bidimensional grids of columns composed of Izhikevich neurons projected synapses locally and toward first, second and third neighboring columns. The size of the simulated network varied from 6.6 Giga synapses down to 200 K synapses. The code demonstrated to be fast and scalable: 10 wall clock seconds were required to simulate one second of activity and plasticity (per Hertz of average firing rate) of a network composed by 3.2 G synapses running on 128 hardware cores clocked @ 2.4 GHz. The mini-application has been designed to be easily interfaced with standard and custom software and hardware communication interfaces. It has been designed from its foundation to be natively distributed and parallel, and should not pose major obstacles against distribution and parallelization on several platforms.

研究の動機と目的

• 可塑性のあるスパイクニューラルネットワークをシミュレートする代表的でネイティブに分散されたミニアプリケーションベンチマークを開発すること。
• コア数を変化させた小規模なコンmodityクラスタ上で、強いスケーリングと弱いスケーリングのパフォーマンスを評価すること。
• 分散ニューラルネットワークシミュレーションにおける計算および通信のオーバーヘッドを定量的に評価できること。
• 将来の大規模ニューラルネットワークシミュレーションに特化した並列/分散システムの開発を支援すること。

提案手法

• Izhikevichニューロンのネットワークを2次元グリッドに配置し、局所的および隣接カラムへの結合（最大3階層までの隣接）を実装する。
• シナプス可塑性はスパイクタイミング依存可塑性（STDP）により実装され、シミュレーション中に結合の動的変化を可能にする。
• シミュレーションは本質的に分散設計されており、データと計算が処理ノード間で分割され、通信のボトルネックを最小限に抑える。
• 本ベンチマークは、問題サイズを固定してコア数を変える強スケーリングと、コア数に比例して問題サイズを拡大する弱スケーリングの両方をサポートし、パフォーマンスの特徴を付与する。
• 通信と計算のコンponentを詳細にプロファイリングし、パフォーマンスのボトル neck を特定し、負荷のバランスを評価する。
• 標準的なネットワークインターコネクトを用いたコンmodityクラスタ上で動作し、カスタムハードウェア依存性は一切ない。

実験結果

リサーチクエスチョン

• RQ1 DPSNN-STDPベンチマークは、1〜128のハードウェアコアにおいて、強いスケーリングと弱いスケーリングの観点でどのようにスケーリングするか？
• RQ2 分散型シミュレーションにおける可塑性のあるスパイクニューラルネットワークの計算および通信のオーバーヘッドの分布はいかなるものか？
• RQ3 代表的なミニアプリケーションベンチマークは、処理ノード数が異なる場合でも一貫したスパイク発火およびシナプス結合行動を維持できるか？
• RQ4 コンmodityクラスタは、現実的な結合性とダイナミクスを持つ大規模な可塑性のあるスパイクニューラルネットワークをどの程度効率的にシミュレートできるか？

主な発見

• DPSNN-STDPベンチマークは、128コアで稼働する32億シナプスのネットワークに対して、1秒あたり10秒のウォールクロック時間のシミュレーションを達成した。
• 異なる数の処理ノードにおいても、スパイク発火行動とシナプス結合性が一貫しており、ベンチマークの移植性と決定論的性を検証した。
• 強いスケーリングでは、128コアまでほぼ線形の性能向上が見られ、効率的な負荷分散と低通信オーバーヘッドを示した。
• 弱いスケーリングでは、問題サイズをコア数に比例して拡大しても高い効率が維持された。これにより、本ベンチマークが大規模シミュレーションに適していることが確認された。
• プロファイリングの結果、計算が通信を上回り、通信コストは部分線形に増加した。これは、設計のスケーラビリティを裏付けるものであった。
• ベンチマークは非常に移植性が高く、標準的およびカスタムの通信インターフェースに容易に統合可能であり、大幅な改変は不要であった。