[논문 리뷰] An All-Memristor Deep Spiking Neural Network: A Step Towards Realizing the Low Power, Stochastic Brain.

Parami Wijesinghe, Aayush Ankit외 2명|arXiv (Cornell University)|2017. 12. 05.

Advanced Memory and Neural Computing인용 수 4

한 줄 요약

이 논문은 나노스케일 메모리스터의 내재된 확률적 특성을 활용하여 생물학적 스파iking 뉴런을 모방하는 완전히 메모리스터 기반의 딥 스파이킹 신경망(SNN)을 제안한다. 이는 저전력, 뇌 기반 계산을 가능하게 한다. 이 방법은 수정된 학습 과정을 통해 딥 아날로그 ANN을 SNN으로 변환하며, 장치 및 회로의 비이상성 조건에서도 정확도 저하가 1%에 불과하고, CMOS 구현 대비 에너지 소비를 약 11배 감소시킨다.

ABSTRACT

Deep 'Analog Artificial Neural Networks' (ANNs) perform complex classification problems with remarkably high accuracy. However, they rely on humongous amount of power to perform the calculations, veiling the accuracy benefits. The biological brain on the other hand is significantly more powerful than such networks and consumes orders of magnitude less power, indicating us about some conceptual mismatch. Given that the biological neurons communicate using energy efficient trains of spikes, and the behavior is non-deterministic, incorporating these effects in deep neural networks may drive us few steps towards a more realistic neuron. In this work, we propose how the inherent stochasticity of nano-scale resistive devices can be harnessed to emulate the functionality of a spiking neuron that can be incorporated in a deep Spiking Neural Networks (SNN). At the algorithmic level, we propose how the training can be modified to convert an ANN to an SNN while supporting the stochastic activation function offered by these devices. We devise circuit architectures to incorporate stochastic memristive neurons along with memristive crossbars which perform the functionality of the synaptic weights. We tested the proposed All Memristor deep SNN for image classification and observed only about 1% degradation in accuracy with the deep analog ANN baseline after incorporating the circuit and device related non-idealities. We witnessed that the network is robust to variations and consumes ~x11 less energy than its CMOS counterpart.

연구 동기 및 목표

• 딥 아날로그 인공신경망(ANN)의 높은 전력 소비 문제를 생물학적 뇌의 에너지 효율성으로 해결하기 위해.
• 나노스케일 저항성 장치(메모리스터)의 내재된 확률적 특성을 활용하여 외부 노이즈 소스 없이도 자연스럽게 스파이크 뉴런 동작을 구현하기 위해.
• 시냅스 가중치를 위한 메모리스터 크로스바와 신경 처리를 위한 확률적 메모리스터 뉴런을 사용하여 완전히 메모리스터 기반의 SNN 아키텍처를 설계하기 위해.
• 기존에 학습된 딥 ANN을 SNN으로 변환할 수 있도록 수정된 학습 방법을 개발하여 장치 및 회로의 비이상성 조건에서도 정확도를 유지하기 위해.
• 실세계 이미지 분류 작업에서 제안된 SNN의 강건성과 에너지 효율성을 입증하기 위해.

제안 방법

• 나노스케일 메모리스터의 내재된 확률적 스위칭 행동을 활용하여 생물학적 뉴런의 확률적 스파이크 생성을 모방한다.
• 메모리스터 뉴런이 입력 전류의 확률적 임계 처리를 기반으로 스파이크를 생성하는 회로 아키텍처를 설계하여 스파이크 시차 의존 학습을 모방한다.
• 메모리스터 크로스바를 사용하여 시냅스 가중치를 저장함으로써 메모리 내 계산을 실현하고 데이터 이동 에너지를 감소시킨다.
• 역전파 동안 시냅스 가중치를 조정하여 메모리스터 행동에서 유래한 확률적 활성화 함수를 수용함으로써 네트워크 정확도를 유지한다.
• 장치 수준의 비이상성(예: 변동성, 저항 드리프트)을 시뮬레이션에 통합하여 강건성과 실세계 적용 가능성 평가를 수행한다.
• 표준 벤치마크를 사용하여 이미지 분류 작업에서 SNN을 검증하고, 정확도 및 에너지 효율성을 CMOS 기반 SNN 및 원본 ANN과 비교한다.

실험 결과

연구 질문

• RQ1 나노스케일 메모리스터의 내재된 확률적 특성을 외부 노이즈 주입 없이 스파이크 뉴런 기능을 효과적으로 실현하는 데 활용할 수 있는가?
• RQ2 장치 및 회로의 비이상성 조건에서도 정확도를 유지하면서 딥 아날로그 ANN을 메모리스터 기반 SNN으로 변환할 수 있는가?
• RQ3 실세계 장치 변동성에 노출되었을 때 제안된 완전한 메모리스터 기반 SNN 아키텍처가 정확도와 에너지 효율성을 어느 정도 유지하는가?
• RQ4 기존의 CMOS 기반 SNN 및 ANN 대비 제안된 메모리스터 기반 SNN의 에너지 효율성 향상은 어느 정도인가?
• RQ5 추론 과정에서 메모리스터 저항 및 스위칭 행동의 변동성에 네트워크가 얼마나 강건한가?

주요 결과

• 제안된 완전한 메모리스터 기반 SNN은 현실적인 장치 및 회로 비이상성 조건에 노출되었을 때 원본 딥 아날로그 ANN 기준선 대비 정확도 저하가 단 1%에 그친다.
• 나노스케일 메모리스터에 내재된 매개변수 변동성에 대해 강력한 강건성을 보이며, 다수의 테스트 런에서 높은 성능을 유지한다.
• 메모리스터 기반 SNN은 그 CMOS 기반 동료 대비 약 11배 적은 에너지를 소비하여 에너지 효율성이 크게 향상된다.
• 메모리스터 행동에서 파생된 확률적 활성화 함수는 추가 회로나 노이즈 주입 없이도 자연스럽게 스파이크 생성을 가능하게 한다.
• 수정된 학습 방법은 기존에 학습된 딥 ANN을 메모리스터의 물리적 특성을 활용하면서도 높은 정확도를 유지하는 SNN으로 성공적으로 변환한다.
• 시냅스 가중치를 위한 메모리스터 크로스바 통합은 메모리 내 계산을 가능하게 하여 추론 단계에서 에너지 소비와 지연을 감소시킨다.