[논문 리뷰] SpiNNaker 2: A 10 Million Core Processor System for Brain Simulation and Machine Learning

Christian Mayr, Sebastian Hoeppner외 1명|arXiv (Cornell University)|2019. 11. 06.

Advanced Memory and Neural Computing참고 문헌 7인용 수 89

한 줄 요약

SpiNNaker 2는 적응형 바디 바이어스링과 수치 가속기를 통해 22nm FDSOI에서 100만 코어에서 1천만 코어로 확장하여 뇌 시뮬레이션 및 딥 러닝 워크로드를 가속하며, 비슷한 전력 예산 내에서 용량을 >50x 증가시키려 한다.

ABSTRACT

SpiNNaker is an ARM-based processor platform optimized for the simulation of spiking neural networks. This brief describes the roadmap in going from the current SPINNaker1 system, a 1 Million core machine in 130nm CMOS, to SpiNNaker2, a 10 Million core machine in 22nm FDSOI. Apart from pure scaling, we will take advantage of specific technology features, such as runtime adaptive body biasing, to deliver cutting-edge power consumption. Power management of the cores allows a wide range of workload adaptivity, i.e. processor power scales with the complexity and activity of the spiking network. Additional numerical accelerators will enhance the utility of SpiNNaker2 for simulation of spiking neural networks as well as for executing conventional deep neural networks. These measures should increase the simulation capacity of the machine by a factor $>$50. The interplay between the two domains, i.e. spiking and rate based, will provide an interesting field for algorithm exploration on SpiNNaker2. Apart from the platforms' traditional usage as a neuroscience exploration tool, the extended functionality opens up new application areas such as automotive AI, tactile internet, industry 4.0 and biomedical processing.

연구 동기 및 목표

• SpiNNaker1의 프로세서 기반 유연성을 유지하면서 코어를 10배로 확장한다.
• 일반 시냅스 연산 및 ML 워크로드를 위한 수치 가속기를 도입한다.
• 에너지 효율적인 근 임계 작동을 위한 적응형 바디 바이어싱이 적용된 22nm FDSOI를 활용한다.
• 전 코어에서 동적 전압 및 주파수 조절(DVFS)을 통해 워크로드에 대응하는 적응성을 구현한다.
• 스파이킹 및 레이트 기반 신경망 모델과 ML 애플리케이션을 모두 지원하도록 기능을 확장한다.

제안 방법

• 유사한 전력 예산 내에서 코어 수를 1,000만 코어로 확장한다.
• 지수 함수 및 기타 일반 시냅스 연산을 위한 수치 가속기를 도입한다.
• 칩 내 적응형 바디 바이어싱이 적용된 22nm FDSOI 기술을 사용하여 안정적인 근 임계 작동을 구현한다.
• 워크로드를 밀리초 단위로 적용하도록 DVFS를 구현한다.
• 프로세서로부터 조밀한 신경망 계산을 오프로드하기 위한 곱-합 배열을 추가한다.
• ML 가속기와 MAC를 가능하게 하면서 스파이크 기반 비동기 통신을 유지하고 MAC를 지원한다.

실험 결과

연구 질문

• RQ1 기존 예산을 넘지 않으면서 SpiNNaker를 1,000만 코어로 확장할 수 있는가?
• RQ2 SpiNNaker2에서 스파이킹 신경망과 일반 신경망에 가장 유용한 가속기는 무엇인가?
• RQ3 적응형 바디 바이어싱과 근 임계 작동이 신뢰성 및 에너지 효율에 어떤 영향을 미치는가?
• RQ4 같은 플랫폼에서 스파이크 시뮬레이션과 함께 깊은 신경망의 효율적 실행을 MAC들이 가능하게 할 수 있는가?
• RQ5 SpiNNaker2의 혼합 스파이킹 및 ML 기능으로 어떤 새로운 응용 분야가 가능해지는가?

주요 결과

• 전력 관리로 스파이크 워크로드에 맞춰 적응하면서 코어 확장이 가능하다.
• MACs는 신경망 연산을 프로세서에서 가속기로 오프로드할 수 있게 해준다.
• ABB는 다양한 조건에서 0.4V까지 견고한 작동을 가능하게 한다.
• SpiNNaker1에 비해 시뮬레이션 용량이 >50x 증가할 것으로 예측된다.
• DVFS를 통한 워크로드 적응으로 활동에 비례하는 에너지 소비를 제공한다.