[論文レビュー] SpiNNaker 2: A 10 Million Core Processor System for Brain Simulation and Machine Learning

Christian Mayr, Sebastian Hoeppner+1 more|arXiv (Cornell University)|Nov 6, 2019

Advanced Memory and Neural Computing参考文献 7被引用数 89

ひとこと要約

SpiNNaker 2 は SpiNNaker を 1,000,000 コアから 10,000,000 コアへ 22nm FDSOI でスケールさせ、適応ボディバイアシングと数値加速器を用いて脳シミュレーションと深層学習ワークロードを加速し、同程度の電力予算内で >50x の容量増を目指す。

ABSTRACT

SpiNNaker is an ARM-based processor platform optimized for the simulation of spiking neural networks. This brief describes the roadmap in going from the current SPINNaker1 system, a 1 Million core machine in 130nm CMOS, to SpiNNaker2, a 10 Million core machine in 22nm FDSOI. Apart from pure scaling, we will take advantage of specific technology features, such as runtime adaptive body biasing, to deliver cutting-edge power consumption. Power management of the cores allows a wide range of workload adaptivity, i.e. processor power scales with the complexity and activity of the spiking network. Additional numerical accelerators will enhance the utility of SpiNNaker2 for simulation of spiking neural networks as well as for executing conventional deep neural networks. These measures should increase the simulation capacity of the machine by a factor $>$50. The interplay between the two domains, i.e. spiking and rate based, will provide an interesting field for algorithm exploration on SpiNNaker2. Apart from the platforms' traditional usage as a neuroscience exploration tool, the extended functionality opens up new application areas such as automotive AI, tactile internet, industry 4.0 and biomedical processing.

研究の動機と目的

• SpiNNaker1 のプロセッサベースの柔軟性を維持しつつ、コアを10倍へスケールする。
• 共通シナプス演算および ML ワークロードのための数値加速器を導入する。
• 適応ボディバイアシングを備えた 22nm FDSOI 技術でエネルギー効率の高い近閾値動作を実現する。
• すべてのコアで動的電圧・周波数スケーリングを用いてワークロードに応じた電力適応を実現する。
• スパイキングとレートベースのニューラルネットワークモデルおよび ML アプリケーションの両方をサポートできる機能を拡張する。

提案手法

• 同程度の電力予算内でコア数を1000万コアへスケールする。
• 指数関数などの共通シナプス演算のための数値加速器を組み込む。
• オンチップの適応ボディバイアシングを使い、 robust な近閾値動作を実現する。
• ワークロードをミリ秒単位で電力に適応させるための DVFS を実装する。
• 密なニューラルネット計算をプロセッサからオフロードするための乗算-加算配列を追加する。
• スパイクベースの非同期通信を維持しつつ ML アクセラレータと MAC を有効にする。

実験結果

リサーチクエスチョン

• RQ1 SpiNNaker を既存の予算を超えずに 1000万コアへスケールするにはどうすればよいか。
• RQ2 SpiNNaker2 でスパイキングおよび従来のニューラルネットワークにとって最も有益な加速器は何か。
• RQ3 適応ボディバイアシングと近閾値動作は信頼性とエネルギー効率にどう影響するか。
• RQ4 MAC がスパイキングシミュレーションと同じプラットフォーム上で深層ニューラルネットの効率的実行を可能にするか。
• RQ5 SpiNNaker2 の混在するスパイキングと ML 能力で新たに実現可能になるアプリケーション分野は何か。

主な発見

• 電力管理はスパイキングのワークロードに合わせてコアのスケールを可能にする。
• MAC によりニューラルネットワーク計算をプロセッサから加速器へオフロードできる。
• ABB は様々な条件下で 0.4V まで堅牢に動作を可能にする。
• SpiNNaker1 と比較して >50x のシミュレーション容量の増加を見込む。
• DVFS によるワークロード適応は活性度に対してエネルギーの比例性を提供する。