[論文レビュー] The Brain on Low Power Architectures - Efficient Simulation of Cortical Slow Waves and Asynchronous States

Roberto Ammendola, A. Biagioni+11 more|arXiv (Cornell University)|Apr 10, 2018

Advanced Memory and Neural Computing被引用数 3

ひとこと要約

本論文は、ARMアーキテクチャの低消費電力アーキテクチャと従来のx86サーバーを用いたDPSNNスパイクニューラルネットワークシミュレータを用いた皮質スローワイズのエネルギー効率を評価している。低速な原始性能にもかかわらず、ARMプラットフォームは1回のシナプスイベントあたり3倍のエネルギー効率を達成しており、エネルギー効率の高い脳シミュレーションおよび将来のHPCシステムにおけるその可能性を示している。

ABSTRACT

Efficient brain simulation is a scientific grand challenge, a parallel/distributed coding challenge and a source of requirements and suggestions for future computing architectures. Indeed, the human brain includes about 10^15 synapses and 10^11 neurons activated at a mean rate of several Hz. Full brain simulation poses Exascale challenges even if simulated at the highest abstraction level. The WaveScalES experiment in the Human Brain Project (HBP) has the goal of matching experimental measures and simulations of slow waves during deep-sleep and anesthesia and the transition to other brain states. The focus is the development of dedicated large-scale parallel/distributed simulation technologies. The ExaNeSt project designs an ARM-based, low-power HPC architecture scalable to million of cores, developing a dedicated scalable interconnect system, and SWA/AW simulations are included among the driving benchmarks. At the joint between both projects is the INFN proprietary Distributed and Plastic Spiking Neural Networks (DPSNN) simulation engine. DPSNN can be configured to stress either the networking or the computation features available on the execution platforms. The simulation stresses the networking component when the neural net - composed by a relatively low number of neurons, each one projecting thousands of synapses - is distributed over a large number of hardware cores. When growing the number of neurons per core, the computation starts to be the dominating component for short range connections. This paper reports about preliminary performance results obtained on an ARM-based HPC prototype developed in the framework of the ExaNeSt project. Furthermore, a comparison is given of instantaneous power, total energy consumption, execution time and energetic cost per synaptic event of SWA/AW DPSNN simulations when executed on either ARM- or Intel-based server platforms.

研究の動機と目的

• 大規模脳シミュレーションに適したARMベースのHPCアーキテクチャのエネルギー効率を評価すること。
• 従来のx86サーバーシステムと比較して、低消費電力ARMプラットフォームにおけるDPSNNシミュレータのベンチマークを実施すること。
• さまざまなネットワークおよび計算負荷下での皮質スローワイズシミュレーションの性能およびエネルギー消費を評価すること。
• 神経科学ワークロードに最適化された将来のインターコネクトおよびHPCシステムのアーキテクチャ的要件を特定すること。
• ARMベースのプラットフォームが、計算神経科学分野におけるエネルギー効率の良い科学的計算の実用的代替手段として有効であることを検証すること。

提案手法

• DPSNNシミュレータはARMベースのプラットフォームに移植され、ARMv8アーキテクチャを搭載した2世代目NVIDIA Jetson TX1 SoCを含む。
• 両方のプラットフォームで、10,000個のLIFCAニューロンと1,800万個のシナプスを含むシミュレーションが、4つのMPIプロセスを用いて実行された。
• 時間当たりの解決時間、瞬時の消費電力、総エネルギー消費量、および1回のシナプスイベントあたりのエネルギーコストを測定し、比較した。
• 将来のHPCシステム向けに低遅延・高スループットインターコネクトの設計を支援するため、ネットワークトラフィックの特性を分析した。
• 公平な比較を保証するため、両プラットフォーム間で同一のニューラルネットワーク設定を採用した制御された環境を構築した。
• ベースライン消費電力は差し引かれておらず、システム全体のエネルギー使用量について楽観的ではなく現実的な推定値となった。

実験結果

リサーチクエスチョン

• RQ1 DPSNNを用いた皮質スローワイズのシミュレーションにおいて、ARMプロセッサのエネルギー効率はx86サーバーと比べてどの程度か？
• RQ2 大規模スパイクニューラルネットワークをシミュレートする際、ネットワーク配布が性能およびエネルギー消費に与える影響は何か？
• RQ3 異なるメモリ帯域幅とコア数は、DPSNNシミュレーションにおける時間当たりの解決時間およびエネルギー当たりの解決時間にどのように影響するか？
• RQ4 低消費電力ARMプラットフォームは、神経科学シミュレーションワークロードにおいて競争力のあるパフォーマンス・ワットを達成できるか？
• RQ5 DPSNNを分散コア上で実行する際、現在の市販のネットワーキングコンponentsにおける主なボトルネックは何か？

主な発見

• ARMベースの組み込みプラットフォームは、3秒間のシミュレーションを完了するのに528 Jのエネルギーを消費したのに対し、x86サーバープラットフォームは2.3 kJを消費し、ARMでは総エネルギー消費量が4.4倍削減された。
• x86サーバープラットフォームは9.1秒でシミュレーションを完了したが、ARMプラットフォームは30秒を要し、時間当たりの解決時間はARMで3.3倍長くなった。
• 瞬時の消費電力はARMプラットフォームで17.6 W、x86サーバーで253 Wであり、リアルタイムの電力消費量は14.4倍も削減された。
• 1回のシナプスイベントあたりのエネルギーコストは、ARMプラットフォームで2.2 μJ、x86プラットフォームで9.8 μJであり、ARMではエネルギー効率が3倍向上した。
• 原始計算速度が5倍遅いにもかかわらず、x86プラットフォームは1単位の作業あたり約3倍のエネルギーを消費しており、ARMの優れたエネルギー効率が浮き彫りになった。
• ベースライン電力を除くと、x86ではエネルギー当たりの解決時間比がさらに4倍改善され、ARMでは2倍改善され、低消費電力状況下でのARMの優位性がさらに強化された。