[논문 리뷰] Low-Power Neuromorphic Hardware for Signal Processing Applications

Bipin Rajendran, Abu Sebastian외 3명|arXiv (Cornell University)|2019. 01. 11.

Advanced Memory and Neural Computing참고 문헌 34인용 수 7

한 줄 요약

이 논문은 뇌의 스파iking 신경망(SNN) 원리를 기반으로 한 저전력 뉴로모픽 하드웨어 아키텍처를 제안하여 바이오니어 반복성 문제를 극복하고 에너지 효율적인 신호 처리를 가능하게 한다. 이슬립 기반 계산, 메모리와 처리의 근접 배치, 그리고 새로운 메모리스티브 장치를 활용함으로써 높은 병렬성과 낮은 에너지 소비를 달성하며, 실시간 저전력 AI 응용 분야에 실현 가능성을 보여준다.

ABSTRACT

Machine learning has emerged as the dominant tool for implementing complex cognitive tasks that require supervised, unsupervised, and reinforcement learning. While the resulting machines have demonstrated in some cases even super-human performance, their energy consumption has often proved to be prohibitive in the absence of costly super-computers. Most state-of-the-art machine learning solutions are based on memory-less models of neurons. This is unlike the neurons in the human brain, which encode and process information using temporal information in spike events. The different computing principles underlying biological neurons and how they combine together to efficiently process information is believed to be a key factor behind their superior efficiency compared to current machine learning systems. Inspired by the time-encoding mechanism used by the brain, third generation spiking neural networks (SNNs) are being studied for building a new class of information processing engines. Modern computing systems based on the von Neumann architecture, however, are ill-suited for efficiently implementing SNNs, since their performance is limited by the need to constantly shuttle data between physically separated logic and memory units. Hence, novel computational architectures that address the von Neumann bottleneck are necessary in order to build systems that can implement SNNs with low energy budgets. In this paper, we review some of the architectural and system level design aspects involved in developing a new class of brain-inspired information processing engines that mimic the time-based information encoding and processing aspects of the brain.

연구 동기 및 목표

• 현대 기계 학습 워크로드를 실행할 때 기존 바이오니어 아키텍처의 에너지 비효율성을 해결한다.
• 메모리와 처리의 근접 배치를 통해 비-바이오니어, 이벤트 기반 뉴로모픽 시스템을 설계하여 바이오니어 반복성 문제를 극복한다.
• 생물학적 신경계 계산을 모방하는 스파이크 타이밍에 정보를 인코딩하는 제3세대 스파킹 신경망(SNN)의 효율적 구현을 가능하게 한다.
• 확장 가능한 저전력 뉴로모픽 플랫폼을 위한 체계 수준의 설계 및 하드웨어 빌딩 블록(뉴런, 시냅스, 인터커넥트)을 발전시킨다.
• 신규 나노스케일 메모리스티브 장치를 통합하여 시냅스 및 뉴런 회로의 구현에서 에너지 및 면적 효율성을 향상시킨다.

제안 방법

• 무단전력 소비를 최소화하기 위해 이방향성, 이벤트 기반 스파이크 통신 기반의 뉴로모픽 시스템을 설계한다.
• 저전력 동작을 위해 혼합 신호 CMOS 및 새로운 메모리스티브 기술을 사용하여 하드웨어 뉴런과 시냅스를 구현한다.
• 메모리와 처리 단위 간의 데이터 이동을 제거하기 위해 계산 기반 메모리 아키텍처를 사용하여 에너지 오버헤드를 감소시킨다.
• SNN에서 시간 인코딩을 활용하여 스파이크 타이밍에 정보를 인코딩함으로써 신호를 효율적으로 처리한다.
• 데이터플로우 실행 및 현장에서의 계산과 같은 비-바이오니어 컴퓨팅 원칙을 적용하여 병렬성과 에너지 효율성을 향상시킨다.
• 저항성 메모리 장치의 변동성과 비선형성을 완화하기 위해 다중 셀 메모리스티브 아키텍처를 통합한다.

실험 결과

연구 질문

• RQ1 뉴로모픽 하드웨어는 기존 AI 시스템에서 바이오니어 반복성 문제를 어떻게 극복하여 저전력 신호 처리를 가능하게 하는가?
• RQ2 최소한의 에너지 소비로 효율적인 스파킹 신경망을 실행하기 위해 어떤 체계 수준의 아키텍처 원칙이 필요한가?
• RQ3 이벤트 기반, 시간 인코딩 계산 및 메모리-처리 근접 구조는 기존 디지털 아키텍처에 비해 에너지 효율성을 어떻게 향상시키는가?
• RQ4 나노스케일 메모리스티브 장치는 뉴로모픽 칩에서 에너지 효율적인 시냅스 및 뉴런 구현을 위해 어떤 역할을 하는가?
• RQ5 실세계 신호 처리 응용 분야를 위한 확장 가능한 저전력 뉴로모픽 플랫폼을 구축할 때의 주요 설계 트레이드오프는 무엇인가?

주요 결과

• 스파킹 신경망(SNN) 기반의 뉴로모픽 시스템은 이벤트 기반, 이방향성 계산을 활용함으로써 기존 바이오니어 시스템에 비해 상당히 낮은 에너지 소비를 달성한다.
• 뉴로모픽 아키텍처에서 메모리와 처리 단위를 근접하게 배치함으로써 데이터 이동을 줄여 바이오니어 반복성 문제를 직접 해결하고 에너지 효율성을 향상시킨다.
• 혼합 신호 CMOS 기반의 뉴로모픽 가속기, 예를 들어 인텔의 Loihi와 IBM의 TrueNorth는 SNN 추론에서 에너지 효율성 면에서 수개의 주요 개선을 보여준다.
• 메모리스티브 장치는 컴act하고 저전력의 시냅스 구현을 가능하게 하지만, 도전 과제로 지속적인 도전성 변화와 확률적 특성 등이 있어 다중 셀 아키텍처를 통해 완화가 필요하다.
• 메모리스터 기반의 계산 기반 메모리 유닛 통합은 현장에서의 계산을 허용하여 신호의 시간적 상관관계를 유지하고 처리 효율성을 향상시킨다.
• 최신 기술의 뉴로모픽 칩인 SpiNNaker, BrainScaleS, NeuroGrid는 저전력 예산으로 대규모 뇌에 영감을 받은 신호 처리의 실현 가능성을 입증한다.