[논문 리뷰] Low-Power Low-Latency Keyword Spotting and Adaptive Control with a SpiNNaker 2 Prototype and Comparison with Loihi

Yexin Yan, Terrence C. Stewart외 8명|arXiv (Cornell University)|2020. 09. 18.

Advanced Memory and Neural Computing참고 문헌 44인용 수 4

한 줄 요약

이 논문은 키워드 검색과 적응형 로봇 제어라는 두 가지 벤치마크 작업에서 스피너락 2 뉴로모픽 프로토타입을 로이히와 비교하여 평가한다. 스피너락 2의 MAC 어레이가 고차원 벡터-행렬 곱셈에서 뛰어난 효율성을 보이며, DNN 기반 키워드 검색과 고차원 적응형 제어에서 로이히를 능가함을 입증한다. 그러나 저차원 케이스에서는 로이히가 더 효율적임을 확인한다.

ABSTRACT

We implemented two neural network based benchmark tasks on a prototype chip of the second-generation SpiNNaker (SpiNNaker 2) neuromorphic system: keyword spotting and adaptive robotic control. Keyword spotting is commonly used in smart speakers to listen for wake words, and adaptive control is used in robotic applications to adapt to unknown dynamics in an online fashion. We highlight the benefit of a multiply accumulate (MAC) array in the SpiNNaker 2 prototype which is ordinarily used in rate-based machine learning networks when employed in a neuromorphic, spiking context. In addition, the same benchmark tasks have been implemented on the Loihi neuromorphic chip, giving a side-by-side comparison regarding power consumption and computation time. While Loihi shows better efficiency when less complicated vector-matrix multiplication is involved, with the MAC array, the SpiNNaker 2 prototype shows better efficiency when high dimensional vector-matrix multiplication is involved.

연구 동기 및 목표

• 스피너락 2 뉴로모픽 프로토타입의 실세계 AI 워크로드에서의 성능 평가
• 스피너락 2의 MAC 어레이 기반 연산과 로이히의 전용 스파iking 회로 간 에너지 및 지연 시간 측면에서의 비교
• 혼합 정밀도 가속기 탑재 뉴로모픽 하드웨어에서 하이브리드 DNN/SNN 워크로드의 효율성 평가
• 스피너락 2가 신경망 추론 및 온라인 학습 작업에서 로이히를 능가하는 조건 파악
• 일반 목적 프로세싱에 가속기를 결합한 아키텍처(스피너락 2)와 전용 스파이킹 회로(로이히) 간의 아키텍처적 트레이드오프에 대한 통찰 제공

제안 방법

• 스피너락 2의 MAC 어레이를 활용해 고차원 벡터-행렬 곱셈을 효율적으로 수행할 수 있도록, DNN 기반 키워드 검색 네트워크를 스피너락 2 프로토타입에 구현함.
• 동일한 키워드 검색 작업을 로이히에 포팅하여 스파iking 신경망(SNN) 버전을 사용함으로써 DNN 대비 SNN 추론 간 직접 비교 가능하게 함.
• 양 플랫폼에서 SNN을 활용한 적응형 제어 알고리즘을 구현하고, 오차 신호 기반 온라인 시냅스 가중치 업데이트를 구현함.
• 에너지 효율성을 최적화하기 위해 스피너락 2에서 동적 전압 및 주파수 스케일링(DVFS)과 적응형 바디 바이어스(ABB)를 적용함.
• 공정한 성능 비교를 위해 두 플랫폼 간 동일한 신경망 아키텍처와 하이퍼파라미터를 사용함.
• 다양한 입력 차원에서 각 벤치마크 작업의 계산 시간과 활성 에너지 소비를 측정함.

실험 결과

연구 질문

• RQ1 스피너락 2 프로토타입의 MAC 어레이가 DNN 기반 키워드 검색에서 로이히의 SNN 구현 대비 추론 효율성에 어떤 영향을 미치는가?
• RQ2 입력 차원이 높은 적응형 제어 작업에서, 스피너락 2가 로이히를 능가하는 조건은 어떤가?
• RQ3 고차원 벡터-행렬 곱셈을 처리할 때, 스피너락 2와 로이히의 에너지 및 지연 특성은 어떻게 비교되는가?
• RQ4 하이브리드 DNN/SNN 워크로드에서 일반 목적 프로세싱에 가속기를 결합한 아키텍처(스피너락 2)와 전용 스파이킹 회로(로이히) 간의 성능 트레이드오프는 무엇인가?
• RQ5 스피너락 2의 MAC 어레이가 DNN 및 SNN 워크로드 양쪽 모두를 효과적으로 가속화할 수 있으며, 어떤 조건에서 성능 우위를 보이는가?

주요 결과

• 스피너락 2 프로토타입은 벡터-행렬 곱셈을 위한 MAC 어레이를 활용함으로써 DNN 기반 키워드 검색 작업에서 로이히보다 더 빠른 추론 속도와 높은 에너지 효율성을 달성함.
• 적응형 제어 작업에서 입력 차원이 높을 경우, 스피너락 2는 계산 시간과 활성 에너지 소비 측면에서 로이히를 능가함. 이는 MAC 어레이 활용도가 최대에 이르기 때문임.
• 저차원 적응형 제어 작업에서는 로이히가 스피너락 2보다 더 높은 효율성을 보였으며, 이는 스피너락 2의 일반 목적 ARM 코어가 계산의 주를 차지하고 더 많은 에너지를 소비하기 때문임.
• 스피너락 2의 MAC 어레이는 스피너락 1에서 소프트웨어 에뮬레이션된 동등한 기능 대비 벡터-행렬 곱셈에서 뚜렷한 속도 향상을 보였으며, 클럭 사이클 수의 추정 향상이 확인됨.
• 스피너락 2의 일반 목적 ARM 코어와 전용 MAC 가속기를 조합함으로써 DNN 및 SNN 워크로드 양측 모두를 효율적으로 실행할 수 있었으며, 이는 로이히가 SNN 전용으로 최적화되어 있다는 점과 대비됨.
• 결과적으로 MAC 어레이 기반 가속은 고차원 신경망 워크로드에 특히 유리하며, 스피너락 2는 임베디드 AI 응용 분야에서 이러한 작업에 강력한 후보로 부상함.