[논문 리뷰] Spiking Neural Networks for Inference and Learning: A Memristor-based Design Perspective

M. E. Fouda, F. Kurdahi외 2명|arXiv (Cornell University)|2019. 09. 04.

Advanced Memory and Neural Computing인용 수 23

한 줄 요약

이 논문은 스파iking 신경망(SNNs)을 위한 멤리스터 기반 하드웨어 설계를 제안하며, 전조직 활동, 후조직 활동, 그리고 신경조절물질을 통합한 삼인자 학습 규칙을 활용하여 전통적인 스파이크 타이밍 의존성 플라스티시티(STDP)보다 뛰어난 학습 성능을 달성한다. 멤리스터의 비이상적 특성인 확률성과 내재된 동역학을 활용하여, 높은 에너지 효율성과 확장 가능성을 갖춘 메모리 내에서 학습 성능을 효율적으로 계산할 수 있다. 이는 뉴모르픽 추론과 학습에 유리하다.

ABSTRACT

On metrics of density and power efficiency, neuromorphic technologies have the potential to surpass mainstream computing technologies in tasks where real-time functionality, adaptability, and autonomy are essential. While algorithmic advances in neuromorphic computing are proceeding successfully, the potential of memristors to improve neuromorphic computing have not yet born fruit, primarily because they are often used as a drop-in replacement to conventional memory. However, interdisciplinary approaches anchored in machine learning theory suggest that multifactor plasticity rules matching neural and synaptic dynamics to the device capabilities can take better advantage of memristor dynamics and its stochasticity. Furthermore, such plasticity rules generally show much higher performance than that of classical Spike Time Dependent Plasticity (STDP) rules. This chapter reviews the recent development in learning with spiking neural network models and their possible implementation with memristor-based hardware.

연구 동기 및 목표

• 스파iking 신경망(SNNs)의 알고리즘적 발전과 멤리스터 기반 뉴모르픽 하드웨어를 이용한 실용적 구현 사이의 격차를 해소한다.
• 기존 메모리의 즉각적인 대체로써 멤리스터를 사용하는 데서 한계를 극복하기 위해, 시냅스 플라스티시티 규칙을 장치 물리법칙과 비이상적 특성에 맞추어 설계한다.
• 멤리스터 크로스바 아키텍처와 호환되는 하드웨어 인식형 기반 학습 규칙을 통해 SNN에서 고성능이고 에너지 효율적인 학습과 추론을 가능하게 한다.
• 시냅스 및 신경 동역학, 특히 시간적 흔적과 신경조절물질 기능이 멤리스터 어레이를 통해 어떻게 실현될 수 있는지 탐구하여 시간적 책임 할당 문제를 해결한다.
• 멤리스터의 확률성과 비이상적 특성을 활용하면 딥러닝에서 드롭아웃이나 웨이트 정규화와 유사하게 학습의 강건성을 향상시킬 수 있음을 입증한다.

제안 방법

• 유도적 적분-화염(LIF) 뉴런 모델을 사용하는 순환 네트워크로 SNN을 수식화하며, 시냅스 전류와 스파이크 트레인을 포함한 미분 방정식으로 막막 전위 역학을 기술한다.
• 전조직 스파이크 활동, 후조직 막 전위, 그리고 신경조절물질을 포함한 삼인자 학습 규칙을 사용하여 기반 기반 학습을 실현하며, 생물학적으로 타당한 책임 할당을 가능하게 한다.
• 멤리스터 크로스바를 사용하여 하드웨어에서 벡터-행렬 곱셈(스파이크-가중치 상호작용)을 수행하며, 시냅스 가중치는 도전도 상태로 저장된다.
• RC 유사 회로 또는 확산형 멤리스터를 사용하여 시냅스 및 신경 흔적을 구현하여, 비선형 SNN에서 책임 할당에 필요한 시간 역학을 포착한다.
• STDP 및 삼인자 학습을 가능하게 하기 위해 CMOS 기반 보조 회로(예: 2T1R 구성)를 통합하며, 비제로 알파/베타 파rameter를 위한 필터링 메커니즘을 포함한다.
• 멤리스터의 확률성을 정규화 요소로 활용하여, 딥러닝에서의 드롭아웃이나 웨이트 정규화와 유사하게 일반화 능력과 강건성을 향상시킨다.

실험 결과

연구 질문

• RQ1 장치의 물리적 제약 조건을 감안할 때, 멤리스터 기반 하드웨어가 삼인자 학습 규칙을 효과적으로 구현할 수 있는 방법은 무엇인가?
• RQ2 멤리스터의 비이상적 특성—예를 들어 확률성, 저항 드리프트, 변동성—은 SNN에서 학습 성능에 어떻게 기여하거나 저해하는가?
• RQ3 비선형 동역학을 가진 SNN에서 시간적 책임 할당 문제를 해결하기 위해, 시냅스 및 신경 흔적을 멤리스터 어레이에 효율적으로 구현할 수 있는가?
• RQ4 멤리스터 크로스바에 매핑되었을 때, 기반 기반 삼인자 플라스티시티 규칙은 STDP에 비해 성능 및 하드웨어 효율성 측면에서 어떻게 비교되는가?
• RQ5 멤리스터의 내재된 동역학(예: 확산 행동)을 활용하여 추가적인 CMOS 회로 없이도 신경 및 시냅스 통합을 모방할 수 있는가?

주요 결과

• 전조직 활동, 후조직 막 전위, 그리고 신경조절물질을 포함한 삼인자 학습 규칙은 이미지 인식 및 ICA와 같은 작업에서 고전적 STDP보다 학습 정확도와 수렴 속도 측면에서 일관되게 뛰어나다.
• 멤리스터의 확률성은 정규화의 한 형태로 작용하여 일반화 능력을 향상시키고 과적합을 줄이며, 딥러닝에서의 드롭아웃이나 웨이트 정규화와 유사한 효과를 낸다.
• RC 회로 또는 확산형 멤리스터를 사용하여 시냅스 및 신경 흔적을 실현할 수 있으며, 이는 비선형 SNN에서 책임 할당에 필요한 시간 역학 계산을 가능하게 한다.
• 후조직 뉴런 수준에서의 신경조절물질 통합은 효과적인 삼인자 학습을 위해 필수적이며, 전용 CMOS 셀 또는 멤리스터 기반 회로로 실현될 수 있다.
• 멤리스터의 固定 패턴 노이즈는 가중치 간 학습 속도의 변동성을 유도하여 학습을 저해할 수 있으나, 독립적인 노이즈는 유익하며 정규화에 활용될 수 있다.
• 플라스티시티 규칙의 하드웨어 인식 설계를 통해 빠른 메모리 내 계산이 가능해져, 외부 메모리 액세스를 줄이고 SNN 구현의 에너지 효율성을 향상시킨다.