[논문 리뷰] Supervised Learning in Spiking Neural Networks with Phase-Change Memory Synapses

S. R. Nandakumar, Irem Boybat외 4명|arXiv (Cornell University)|2019. 05. 28.

Advanced Memory and Neural Computing인용 수 8

한 줄 요약

이 논문은 나노스케일 단서상 메모리(PCM) 시냅스를 사용하여 스파iking 신경망(SNNs)에서 감독 학습의 첫 실험적 실현을 보여준다. PCM 기반의 계산 메모리 어레이를 활용해 병렬적이고 실시간으로 가중치를 업데이트하고, 장치의 비이상적 특성에 대응하기 위해 통계 모델을 도입함으로써, 상태에 따라 변화하는 도전성과 드리프트가 존재하는 상황에서도 밀리초 이내의 정밀도로 정확한 스파이크 타이밍을 생성하는 데 성공했다.

ABSTRACT

Spiking neural networks (SNN) are artificial computational models that have been inspired by the brain's ability to naturally encode and process information in the time domain. The added temporal dimension is believed to render them more computationally efficient than the conventional artificial neural networks, though their full computational capabilities are yet to be explored. Recently, computational memory architectures based on non-volatile memory crossbar arrays have shown great promise to implement parallel computations in artificial and spiking neural networks. In this work, we experimentally demonstrate for the first time, the feasibility to realize high-performance event-driven in-situ supervised learning systems using nanoscale and stochastic phase-change synapses. Our SNN is trained to recognize audio signals of alphabets encoded using spikes in the time domain and to generate spike trains at precise time instances to represent the pixel intensities of their corresponding images. Moreover, with a statistical model capturing the experimental behavior of the devices, we investigate architectural and systems-level solutions for improving the training and inference performance of our computational memory-based system. Combining the computational potential of supervised SNNs with the parallel compute power of computational memory, the work paves the way for next-generation of efficient brain-inspired systems.

연구 동기 및 목표

• 나노스케일 PCM 장치를 사용하여 고성능, 이벤트 기반, 실시간 감독 학습이 가능한 SNN의 실현 가능성을 입증하는 것.
• 상태에 따라 변화하는 도전성 조절과 도전성 드리프트와 같은 PCM의 비이상적 특성으로 인한 과제를 체계적 보정 전략을 통해 해결하는 것.
• PCM 기반 계산 메모리 어레이를 SNN과 통합하여 오디오와 같은 시간 인코딩 신호의 에너지 효율적이고 실시간 처리를 가능하게 하는 것.
• 장치 행동의 통계 모델과 하드웨어 실험을 통해 PCM 기반 SNN의 학습 및 추론 성능을 검증하는 것.
• 학습 정확도와 내성 향상을 위해 다중-PCM 구성과 어레이 수준의 스케일링을 포함한 아키텍처 솔루션을 탐색하는 것.

제안 방법

• 합성 시냅스 가중치를 PCM 장치의 도전성 값으로 저장하는 계산 메모리 아키텍처를 사용하여, 옴의 법칙과 키르히호프의 법칙을 통해 병렬적 행렬-벡터 곱셈을 수행한다.
• Cm = 300 pF, gL = 30 nS, EL = -70 mV, VT = 20 mV, tref = 2 ms인 리키-인티그레이트-앤드-파이어(LIF) 뉴런 모델을 사용하며, 0.1 ms 시간 해상도로 시뮬레이션한다.
• SNN 가중치(범위 [-6000, 6000])를 다중-PCM 구성으로 PCM 도전성 값으로 매핑하였으며, 각 장치가 기여하는 도전성은 [0.1, 8] μS이며, 가중치 범위 유지에 기여하기 위해 스케일링 인자를 적용하였다.
• 각 학습 에포크 이후 PCM 도전성 값을 업데이트하기 위해 부분-셋 펄스(50 ns 지속, 40–130 μA 진폭)를 사용한 NormAD 학습 알고리즘을 구현하였다.
• FPGA와 아날로그 프론트엔드 보드를 통해 하드웨어 인터페이스를 수행하여 도전성 값을 읽고(0.3 V 기준), 가중치를 프로그래밍하였으며, 각 에포크는 약 6.3초 내에 시뮬레이션되었다.
• 학습 후 경과 시간에 기반한 어레이 수준 스케일링을 통해 추론 시 보정을 적용하여 도전성 드리프트 영향을 최소화하였다.

실험 결과

연구 질문

• RQ1 상태에 따라 변화하는 도전성 조절과 도전성 드리프트를 보이는 PCM 장치가 SNN에서 감독 학습에 고정밀도로 효과적으로 사용될 수 있는가?
• RQ2 PCM 장치의 상태에 따라 변화하는 도전성 변화와 도전성 드리프트가 SNN의 학습 및 추론 성능에 미치는 영향은 어떠한가?
• RQ3 다중-PCM 구성과 어레이 수준 스케일링을 통해 PCM 기반 SNN의 학습 정확도와 내성은 어느 정도 향상될 수 있는가?
• RQ4 PCM 장치를 활용한 계산 메모리 아키텍처는 이벤트 기반, 시간 인코딩 입력을 위한 실시간, 실시간 학습이 가능한가?
• RQ5 SNN 추론 중 비이상적 PCM 행동을 보완하기 위해 효과적인 체계적 전략은 무엇인가?

주요 결과

• PCM 기반 SNN은 알파벳의 시간 인코딩 오디오 신호에 대해 수 밀리초 이내의 정밀도로 출력 스파이크 트레인을 생성하는 데 성공했다.
• 다중-PCM 구성으로 인한 해상도 향상으로 인해 장치 수준의 비이상적 특성 영향이 감소하여 학습 정확도가 향상되었다.
• 학습 후 경과 시간에 기반한 어레이 수준 스케일링을 통해 추론 중 발생하는 도전성 드리프트를 효과적으로 보정하여 소프트웨어 기준 수준에 가까운 성능을 복원하였다.
• 100 에포크 동안 안정적인 학습 성능를 유지하였으며, 도전성 값은 순차적으로 읽고 프로그래밍되었으며, 평균적으로 약 6.3초의 시간이 소요되었다.
• PCM 행동의 통계 모델이 장치의 비이상적 특성을 정확히 포괄하여, 시냅스 가중치 드리프트 및 상태에 따라 변화하는 업데이트의 신뢰성 있는 예측과 보정을 가능하게 하였다.
• PCM 기반 계산 메모리와 SNN의 통합은 실시간 학습 기능을 갖춘 에너지 효율적이고 확장 가능한 뇌 기반 컴퓨팅 시스템을 위한 실현 가능한 길을 제시하였다.