[논문 리뷰] The Brain on Low Power Architectures - Efficient Simulation of Cortical Slow Waves and Asynchronous States

Roberto Ammendola, A. Biagioni외 11명|arXiv (Cornell University)|2018. 04. 10.

Advanced Memory and Neural Computing인용 수 3

한 줄 요약

이 논문은 ARM 기반 저전력 아키텍처와 전통적인 x86 서버 간에 콘크리트 느린 파동을 시뮬레이션할 때 DPSNN 스파iking 신경망 시뮬레이터의 에너지 효율성을 평가한다. 낮은 원자성 성능에도 불구하고 ARM 플랫폼은 심합 이벤트당 에너지-해결도에서 3배 낮은 결과를 보이며, 에너지 효율적인 뇌 시뮬레이션과 향후 HPC 시스템의 잠재력을 입증한다.

ABSTRACT

Efficient brain simulation is a scientific grand challenge, a parallel/distributed coding challenge and a source of requirements and suggestions for future computing architectures. Indeed, the human brain includes about 10^15 synapses and 10^11 neurons activated at a mean rate of several Hz. Full brain simulation poses Exascale challenges even if simulated at the highest abstraction level. The WaveScalES experiment in the Human Brain Project (HBP) has the goal of matching experimental measures and simulations of slow waves during deep-sleep and anesthesia and the transition to other brain states. The focus is the development of dedicated large-scale parallel/distributed simulation technologies. The ExaNeSt project designs an ARM-based, low-power HPC architecture scalable to million of cores, developing a dedicated scalable interconnect system, and SWA/AW simulations are included among the driving benchmarks. At the joint between both projects is the INFN proprietary Distributed and Plastic Spiking Neural Networks (DPSNN) simulation engine. DPSNN can be configured to stress either the networking or the computation features available on the execution platforms. The simulation stresses the networking component when the neural net - composed by a relatively low number of neurons, each one projecting thousands of synapses - is distributed over a large number of hardware cores. When growing the number of neurons per core, the computation starts to be the dominating component for short range connections. This paper reports about preliminary performance results obtained on an ARM-based HPC prototype developed in the framework of the ExaNeSt project. Furthermore, a comparison is given of instantaneous power, total energy consumption, execution time and energetic cost per synaptic event of SWA/AW DPSNN simulations when executed on either ARM- or Intel-based server platforms.

연구 동기 및 목표

• ARM 기반 HPC 아키텍처의 대규모 뇌 시뮬레이션에 대한 에너지 효율성을 평가하기 위해.
• 기존의 x86 서버 시스템과 대비하여 저전력 ARM 플랫폼에서 DPSNN 시뮬레이터를 벤치마킹하기 위해.
• 다양한 네트워크 및 계산 부하 조건에서 콘크리트 느린 파동 시뮬레이션의 성능 및 에너지 소비를 평가하기 위해.
• 신경과학 워크로드에 최적화된 미래의 인터커넥트 및 HPC 시스템을 위한 아키텍처적 요구사항을 규명하기 위해.
• 컴퓨테이셔널 신경과학 분야에서 에너지 효율적인 과학 계산을 위한 ARM 기반 플랫폼의 실용성을 검증하기 위해.

제안 방법

• DPSNN 시뮬레이터가 ARM 기반 플랫폼으로 이식되었으며, ARMv8 아키텍처를 갖춘 2세대 NVIDIA Jetson TX1 SoC를 포함한다.
• 10,000개의 LIFCA 뉴런과 1,800만 개의 시냅스를 포함한 시뮬레이션이 ARM 및 x86 플랫폼에서 각각 4개의 MPI 프로세스를 사용하여 실행되었다.
• 해결 시간,순간적 전력 소비,총 에너지 소비, 및 시냅스 이벤트당 에너지 비용을 측정하고 비교하였다.
• 미래의 HPC 시스템을 위한 저지연, 고대역폭 인터커넥트 설계를 뒷받침하기 위해 네트워크 트래픽 특성 분석을 수행하였다.
• 공정한 비교를 위해 플랫폼 간 동일한 신경망 구성 조건을 유지하는 통제된 설정을 사용하였다.
• 기본 전력 소비가 제거되지 않아, 체계적 에너지 소비를 현실적으로 그러나 비관적으로 추정하였다.

실험 결과

연구 질문

• RQ1 DPSNN를 사용하여 콘크리트 느린 파동을 시뮬레이션할 때 ARM 기반 프로세서의 에너지 효율성은 x86 서버와 비교해 어떻게 되는가?
• RQ2 대규모 스파이킹 신경망을 시뮬레이션할 때 네트워크 분포가 성능과 에너지 소비에 어떤 영향을 미치는가?
• RQ3 다른 메모리 대역폭과 코어 수는 DPSNN 시뮬레이션에서 해결 시간과 에너지-해결도에 어떤 영향을 미치는가?
• RQ4 저전력 ARM 플랫폼은 뉴런 과학 시뮬레이션 워크로드에서 경쟁적인 웨트당 성능을 달성할 수 있는가?
• RQ5 DPSNN을 분산 코어에서 실행할 때 현재 시장에 유통되는 네트워킹 구성 요소에서 주요 성능 저하 요인은 무엇인가?

주요 결과

• ARM 기반 임베디드 플랫폼은 3초 분량의 시뮬레이션을 완료하는 데 528J의 에너지를 소비한 반면, x86 서버 플랫폼은 2.3kJ를 소비하여 ARM에서 총 에너지 소비가 4.4배 감소하였다.
• x86 서버 플랫폼은 시뮬레이션을 9.1초 만에 완료한 반면, ARM 플랫폼은 30초가 걸려 ARM에서 해결 시간이 3.3배 더 길었다.
• 순간적 전력 소비는 ARM 플랫폼에서 17.6W, x86 서버에서는 253W로, 실시간 전력 소비에서 ARM에서 14.4배 감소하였다.
• 시냅스 이벤트당 에너지 비용은 ARM 플랫폼에서 2.2μJ, x86 플랫폼에서 9.8μJ로, ARM에서 에너지 효율성이 3배 향상되었다.
• 원자성 계산 속도가 5배 느리지만, x86 플랫폼은 단위 작업당 약 3배 더 많은 에너지를 소비하여 ARM의 뛰어난 에너지 효율성을 입증하였다.
• 기본 전력 소비를 제외할 경우, x86의 에너지-해결도 비율은 4배 향상되고 ARM은 2배 향상되어, 저전력 환경에서 ARM의 우월성이 더욱 뚜렷해졌다.