[논문 리뷰] Memory via Temporal Delays in weightless Spiking Neural Network

Hananel Hazan, Simon Caby외 3명|arXiv (Cornell University)|2022. 02. 15.

Advanced Memory and Neural Computing인용 수 5

한 줄 요약

이 논문은 연결 가중치가 아닌 시냅스 전도 지연에 의해 메모리가 인코딩되는 무게 없는 스파iking 신경망을 제안한다. 헤비안 스파이크 타이밍 의존 성숙도(STDP)를 사용하여 지연을 동적으로 조정함으로써, 네트워크는 시간 패턴을 분류하도록 학습하며, 지연 조절만으로도 전통적인 시냅스 가중치 없이 효과적인 메모리 저장과 분류가 가능하다는 것을 보여준다.

ABSTRACT

A common view in the neuroscience community is that memory is encoded in the connection strength between neurons. This perception led artificial neural network models to focus on connection weights as the key variables to modulate learning. In this paper, we present a prototype for weightless spiking neural networks that can perform a simple classification task. The memory in this network is stored in the timing between neurons, rather than the strength of the connection, and is trained using a Hebbian Spike Timing Dependent Plasticity (STDP), which modulates the delays of the connection.

연구 동기 및 목표

• 스파iking 신경망에서 시냅스 전도 지연이 유일하게 메모리를 인코딩할 수 있는가를 조사하는 것.
• 학습이 가중치 조정이 아닌 지연 조절에 의해 이뤄지는 무게 없는 SNN 아키텍처를 개발하는 것.
• 헤비안 STDP가 지연 기반 메모리를 효과적으로 학습시켜 분류 작업을 수행할 수 있는가를 입증하는 것.
• 기존의 가중치 기반 학습에 대한 생물학적으로 타당한 대안을 제공하는 것.

제안 방법

• 신경망은 시냅스 지연이 주요 메모리 저장 수단인 지연 조절 기반 스파이킹 신경망 아키텍처를 사용한다.
• 스파이크 타이밍 의존 성숙도(STDP)가 사전 및 후행 시냅스 스파이크 타이밍에 기반해 지연을 조정하는 데 적용된다.
• 학습 규칙은 뉴런 간 시간적 상관관계를 강화하거나 약화시키기 위해 지연을 업데이트한다.
• 메모리 유지 및 정확도 평가를 위해 단순한 시간 분류 작업으로 네트워크를 훈련시킨다.
• 시냅스 가중치는 사용되지 않으며, 오직 지연과 스파이크 타이밍이 네트워크 동역학을 결정한다.
• 분류 성능은 시간 입력 패턴에 대해 평가되며, 정확도와 수렴성 측면에서 결과가 보고된다.

실험 결과

연구 질문

• RQ1 스파이킹 신경망에서 시냅스 지연이 유일하게 메모리 저장 메커니즘으로 기능할 수 있는가?
• RQ2 STDP 기반 지연 성숙도가 시냅스 가중치 없이 효과적인 학습과 분류를 가능하게 하는가?
• RQ3 성능 및 생물학적 타당성 측면에서 지연 조절은 가중치 기반 학습보다 어떻게 비교되는가?
• RQ4 최소한의 SNN 아키텍처에서 지연 인코딩 메모리의 용량과 안정성은 어떠한가?
• RQ5 이 프레임워크는 무게 없는 환경에서 강력한 시간 패턴 인식을 지원할 수 있는가?

주요 결과

• 지연 조절만으로도 네트워크가 시간 입력 패턴을 성공적으로 분류함으로써, 시냅스 가중치 없이도 메모리가 인코딩될 수 있음을 입증한다.
• STDP 기반 지연 성숙도는 네트워크가 시간적 상관관계를 장기간 학습하고 유지할 수 있도록 한다.
• 단순한 시간 작업에서 분류 정확도를 달성함으로써 지연 기반 메모리의 실현 가능성을 검증한다.
• 시냅스 가중치의 부재는 아키텍처를 단순화하면서도 기능적 학습 능력을 유지한다.
• 결과는 지연 동역학이 신경계에서 메모리의 주요 기초로 작용할 수 있다는 가설을 지지한다.
• 이 접근법은 생물학적으로 타당한 대안을 제공하며, 생물학적 회로에서 관찰된 신경 동역학과 일치한다.