[논문 리뷰] Power, Energy and Speed of Embedded and Server Multi-Cores applied to Distributed Simulation of Spiking Neural Networks: ARM in NVIDIA Tegra vs Intel Xeon quad-cores

Pier Stanislao Paolucci, Roberto Ammendola외 8명|arXiv (Cornell University)|2015. 05. 12.

Advanced Memory and Neural Computing참고 문헌 12인용 수 17

한 줄 요약

이 연구는 DPSNN-STDP 시뮬레이터를 사용한 분산 스파iking 신경망 시뮬레이션에서 임베디드 ARM 기반 시스템(NVIDIA Jetson TK1)과 서버 인텔 Xeon 플랫폼 간의 에너지 효율성, 전력 소비, 실행 속도를 비교한다. ARM 플랫폼은 3.3배 느리지만, 2.2 μJ의 에너지 소비로 1개의 시냅스 이벤트당 소비하는 에너지가 Xeon 서버의 4.4배 낮아, 저전력 하드웨어에서 대규모 신경망 시뮬레이션에 있어 뛰어난 에너지 효율성을 입증한다.

ABSTRACT

This short note regards a comparison of instantaneous power, total energy consumption, execution time and energetic cost per synaptic event of a spiking neural network simulator (DPSNN-STDP) distributed on MPI processes when executed either on an embedded platform (based on a dual socket quad-core ARM platform) or a server platform (INTEL-based quad-core dual socket platform). We also compare the measure with those reported by leading custom and semi-custom designs: TrueNorth and SpiNNaker. In summary, we observed that: 1- we spent 2.2 micro-Joule per simulated event on the "embedded platform", approx. 4.4 times lower than what was spent by the "server platform"; 2- the instantaneous power consumption of the "embedded platform" was 14.4 times better than the "server" one; 3- the server platform is a factor 3.3 faster. The "embedded platform" is made of NVIDIA Jetson TK1 boards, interconnected by Ethernet, each mounting a Tegra K1 chip including a quad-core ARM Cortex-A15 at 2.3GHz. The "server platform" is based on dual-socket quad-core Intel Xeon CPUs (E5620 at 2.4GHz). The measures were obtained with the DPSNN-STDP simulator (Distributed Simulator of Polychronous Spiking Neural Network with synaptic Spike Timing Dependent Plasticity) developed by INFN, that already proved its efficient scalability and execution speed-up on hundreds of similar "server" cores and MPI processes, applied to neural nets composed of several billions of synapses.

연구 동기 및 목표

• 임베디드 ARM 및 서버 인텔 Xeon 다중코어 시스템이 분산 스파킹 신경망 시뮬레이션에서 에너지 효율성, 전력 소비, 실행 속도를 평가하고 비교하기.
• 이질적 하드웨어 플랫폼에서 대규모 신경망 시뮬레이션의 시냅스 이벤트당 에너지 비용을 평가하기.
• 일반 목적 다중코어 시스템의 성능을 트루나이언스와 스파이너커와 같은 전용 뉴로모픽 아키텍처와 에너지 및 속도 측면에서 비교하기.
• 저전력 임베디드 시스템이 분산 신경망 시뮬레이션에서 전통적인 서버 플랫폼보다 에너지 효율성 면에서 뛰어날 수 있는지 판단하기.

제안 방법

• 다양한 크기의 다중스레드 분산 시뮬레이션을 위한 DPSNN-STDP 시뮬레이터를 MPI 프로세스를 통해 두 플랫폼에 배포하였다.
• 임베디드 플랫폼은 이더넷으로 연결된 이중 NVIDIA Jetson TK1 보드를 사용하였으며, 각각 Tegra K1 칩을 내장하고 있어 4코어 ARM Cortex-A15(2.3 GHz)를 탑재하였다.
• 서버 플랫폼은 듀얼 소켓 인텔 Xeon E5620 프로세서(각각 4코어, 2.4 GHz)를 사용하여 고성능 컴퓨팅 클러스터를 구성하였다.
• 시뮬레이션 실행 중 실시간으로 전력 및 에너지 소비를 측정하였으며, 시냅스 이벤트당 총 에너지 소비는 총 에너지 소비량을 시뮬레이션된 이벤트 수로 나누어 계산하였다.
• 성능 지표는 결과의 맥락을 이해하기 위해 최신 뉴로모픽 시스템(TrueNorth 및 SpiNNaker)과 비교하였다.
• 모든 측정은 동일한 신경망 워크로드(수십억 개의 시냅스 포함)를 기반으로 수행되어 공정한 비교를 확보하였다.

실험 결과

연구 질문

• RQ1 분산 스파킹 신경망 시뮬레이션에서 임베디드 ARM 기반 시스템과 전통적인 서버 인텔 Xeon 플랫폼 간의 시냅스 이벤트당 에너지 소비는 어떻게 비교되는가?
• RQ2 이 계산 작업 환경에서 임베디드 ARM 플랫폼의 순순간 전력 효율성은 서버 Xeon 플랫폼 대비 얼마나 뛰어나며?
• RQ3 두 플랫폼 간의 성능 격차는 시뮬레이션의 총 에너지 효율성에 얼마나 큰 영향을 미치는가?
• RQ4 일반 목적 임베디드 다중코어 시스템은 대규모 신경망 시뮬레이션에서 전용 뉴로모픽 하드웨어와 비교해도 경쟁 가능한 에너지 효율성을 달성할 수 있는가?

주요 결과

• 임베디드 ARM 플랫폼은 1개의 시뮬레이션 시냅스 이벤트당 2.2 마이크로줄로 에너지 소비를 기록하였으며, 이는 서버 Xeon 플랫폼의 9.68 마이크로줄보다 4.4배 낮은 수준이었다.
• 임베디드 플랫폼은 순순간 전력 효율성에서 서버 플랫폼 대비 14.4배 뛰어나, 운영 중 전력 소모가 현저히 낮음을 시사한다.
• 에너지 효율성의 우월함에도 불구하고, 서버 플랫폼은 실행 시간에서 3.3배 더 빠르며, 이는 속도와 에너지 효율성 간의 상충 관계를 잘 보여준다.
• 결과적으로, 임베디드 ARM 시스템이 대규모 스파킹 신경망 시뮬레이션에서 전통적인 서버 플랫폼보다 훨씬 뛰어난 에너지 효율성을 달성할 수 있음을 입증한다.
• 성능는 느리지만, 에너지 비용 측면에선 경쟁력이 있으며, 특히 전력 제약 조건이 중요한 애플리케이션에서는 매우 유리하다.