[논문 리뷰] An All-Memristor Deep Spiking Neural Computing System: A Step Towards Realizing the Low Power,Stochastic Brain

Parami Wijesinghe, Aayush Ankit외 2명|arXiv (Cornell University)|2017. 12. 05.

Advanced Memory and Neural Computing참고 문헌 34인용 수 3

한 줄 요약

이 논문은 나노스케일 메모리스터의 내재된 확률적 특성을 활용하여 확률적 스파iking 뉴런을 모방하고, 메모리스터 크로스바를 시냅스 가중치로 사용하는 전부 메모리스터로 구성된 딥 스토케스틱 스파이킹 신경망(SNN)을 제안한다. 기준 딥 ANN 대비 MNIST에서 오직 1%의 정확도 저하를 보이며, CMOS 구현 대비 6.4배의 에너지 절감을 달성하여 장치 변동성에 대한 강건성과 저전력 뉴로모픽 컴퓨팅 잠재력을 입증한다.

ABSTRACT

Deep 'Analog Artificial Neural Networks' (ANNs) perform complex classification problems with remarkably high accuracy. However, they rely on humongous amount of power to perform the calculations, veiling the accuracy benefits. The biological brain on the other hand is significantly more powerful than such networks and consumes orders of magnitude less power, indicating us about some conceptual mismatch. Given that the biological neurons communicate using energy efficient trains of spikes, and the behavior is non-deterministic, incorporating these effects in Deep Artificial Neural Networks may drive us few steps towards a more realistic neuron. In this work, we propose how the inherent stochasticity of nano-scale resistive devices can be harnessed to emulate the functionality of a spiking neuron that can be incorporated in deep stochastic Spiking Neural Networks (SNN). At the algorithmic level, we propose how the training can be modified to convert an ANN to an SNN while supporting the stochastic activation function offered by these devices. We devise circuit architectures to incorporate stochastic memristive neurons along with memristive crossbars which perform the functionality of the synaptic weights. We tested the proposed All Memristor deep stochastic SNN for image classification and observed only about 1% degradation in accuracy with the ANN baseline after incorporating the circuit and device related non-idealities. We witnessed that the network is robust to certain variations and consumes ~ 6.4x less energy than its CMOS counterpart.

연구 동기 및 목표

• 뇌의 저전력, 확률적 스파이킹 행동을 모방함으로써 딥 신경망의 전력-정확도 격차를 해소하고자 한다.
• 나노스케일 메모리스터의 내재된 확률적 특성을 억제하는 대신, 이를 확률적 뉴런 행동의 기능적 특성으로 활용하고자 한다.
• 뉴런과 시냅스 가중치 모두에 전적으로 메모리스터 기반 아키텍처를 설계하여 하드웨어 효율적이고 저전력의 SNN를 실현하고자 한다.
• 실제 장치 및 회로 비이상성 조건 하에서 제안된 전부 메모리스터 SNN의 강건성과 에너지 효율성을 입증하고자 한다.
• 결정적 근사치에 의존하지 않고 메모리스터 장치를 사용해 딥 SNN의 엔드 투 엔드 학습과 추론을 가능하게 하고자 한다.

제안 방법

• 논문은 다양한 쓰기 펄스 폭에서의 스위칭 확률이 확률적 활성화 함수를 모방하는 개별 메모리스터를 스토케스틱 뉴런으로 사용하는 것을 제안한다.
• 메모리스터 크로스바 어레이를 사용하여 시냅스 가중치를 구현하고, 입력 스파이크와 가중치 간의 아날로그 내적곱 계산을 수행한다.
• 수정된 학습 절차를 통해 사전 학습된 딥 ANN을 확률적 SNN으로 변환하며, 메모리스터 뉴런의 확률적 행동을 고려한다.
• 신호 타이밍을 관리하고 메모리스터 어레이와 인터페이스하기 위해 버퍼, 증폭기, 인버터 등의 회로 수준 구성 요소를 설계한다.
• 셀 크기가 100F²인 128×128 메모리스터 크로스바 어레이 아키텍처를 사용하여 평가하며, 지연 시간과 면적 추정치는 장치 및 회로 파rameter에서 유도된다.
• 강건성 분석을 위해 시냅스 가중치(σ < 20%), 뉴런 바이어스 전압(<200 mV), 스위칭 확률 곡선, 쓰기 펄스 지속 시간(~50% 변동)에 대한 변동성을 도입한다.

실험 결과

연구 질문

• RQ1 나노스케일 메모리스터의 내재된 확률적 특성을 신뢰성 문제로 보는 대신, 뉴로모픽 컴퓨팅에서 기능적 특성으로 활용할 수 있는가?
• RQ2 뉴런과 시냅스 모두에 메모리스터만을 사용하여 딥 스파이킹 신경망을 어떻게 학습하고 구현할 수 있는가?
• RQ3 제안된 전부 메모리스터 SNN이 장치 및 회로 비이상성 조건 하에서도 분류 정확도를 어느 정도 유지하는가?
• RQ4 기존 CMOS 기반 SNN 대비 전부 메모리스터 SNN의 에너지 및 면적-지연 효율성은 어떠한가?
• RQ5 고정된 확률적 활성화 곡선으로 인해 고정된 확률적 활성화 곡선으로 인해 다양한 동작 속도에서 성능 저하 없이 성능을 유지할 수 있는가?

주요 결과

• 전부 메모리스터로 구성된 딥 스토케스틱 SNN은 원래의 딥 ANN 기준선 대비 MNIST 데이터셋에서 오직 1%의 정확도 저하를 보였다.
• 시냅스 가중치(σ < 20%), 뉴런 바이어스 전압(<200 mV), 쓰기 펄스 지속 시간(최대 약 ~50% 변동)에 대한 변동성에 대해 강건성을 보였다.
• 유사한 CMOS 기반 SNN 구현 대비 약 6.4배의 에너지 소비를 절감하였다.
• 제안된 설계의 면적 × 지연 제품은 CMOS 대비 8배 작아져, 뛰어난 에너지-지연 효율성을 나타낸다.
• 메모리스터 뉴런의 에너지 소비는 더 긴 쓰기 펄스 폭에서 감소하지만, 총 에너지는 펄스 지속 시간이 길어지므로 증가하므로 설계 최적화에서 상충 관계가 있음을 시사한다.
• 다양한 쓰기 시간에서 메모리스터의 스위칭 확률 곡선 기울기가 일정하게 유지되어, 다양한 속도 요구 조건에서도 정확도 손실 없이 안정된 성능을 유지할 수 있다.