[논문 리뷰] Superconducting Optoelectronic Neurons III: Synaptic Plasticity

Jeffrey M. Shainline, Adam N. McCaughan외 6명|arXiv (Cornell University)|2018. 05. 04.

Advanced Memory and Neural Computing참고 문헌 44인용 수 6

한 줄 요약

이 논문은 초전도 광전자 뉴런 아키텍처를 제안하며, 자기장 저장 루프를 사용하여 동적으로 학습 가중치를 제어하는 조정 가능한 시냅스 가소성을 구현한다. 단일 광자 탐지기와 조지프슨 접합을 활용함으로써, 프로그래밍 가능한 학습 속도, 다중 안정적 시냅스 상태, 메타가소성을 갖춘 지도 학습 및 비지도 학습을 실현하며, 에너지 효율적이고 재구성 가능한 신경 계산을 구현한다. 이는 법칙에 따라 감소하는 기억력과 동적 적응성을 동시에 확보한다.

ABSTRACT

As a means of dynamically reconfiguring the synaptic weight of a superconducting optoelectronic loop neuron, a superconducting flux storage loop is inductively coupled to the synaptic current bias of the neuron. A standard flux memory cell is used to achieve a binary synapse, and loops capable of storing many flux quanta are used to enact multi-stable synapses. Circuits are designed to implement supervised learning wherein current pulses add or remove flux from the loop to strengthen or weaken the synaptic weight. Designs are presented for circuits with hundreds of intermediate synaptic weights between minimum and maximum strengths. Circuits for implementing unsupervised learning are modeled using two photons to strengthen and two photons to weaken the synaptic weight via Hebbian and anti-Hebbian learning rules, and techniques are proposed to control the learning rate. Implementation of short-term plasticity, homeostatic plasticity, and metaplasticity in loop neurons is discussed.

연구 동기 및 목표

• 초전도 광전자 뉴런 시스템을 설계하여 지도 학습 및 비지도 학습 모두에 대해 동적으로 시냅스 가중치를 재구성할 수 있도록 한다.
• 유도 결합된 자기장 저장 루프를 사용하여 자기장 양자를 저장하여 시냅스 가중치를 표현하는 시냅스 가소성을 실현한다.
• 조절 가능한 전류 펄스 또는 광자 촉발 업데이트를 통해 프로그래밍 가능한 학습 속도를 제공한다.
• 시냅스 업데이트 전류 $I_{\mathrm{su}}$ 를 동적으로 변화시켜 다중 안정적 시냅스 상태와 메타가소성을 지원한다.
• 이질적인 시냅스 상태와 활동에 따라 변하는 업데이트 규칙을 통해 법칙에 따라 감소하는 기억력과 적응형 학습 행동을 달성한다.

제안 방법

• 초전도 자기장 저장 루프가 시냅스 전류 보정 $I_{\mathrm{sy}}$ 와 유도 결합되어, 양자화된 자기장으로 시냅스 가중치를 저장한다.
• 단일 광자 탐지기(SPDs)와 조지프슨 접합(JJs)이 광신호를 자기장 양자로 변환하여 시냅스 저장 루프의 증감을 유도한다.
• 지도 학습의 경우, 정사각형 전류 펄스($I_{\mathrm{su}}^{+}$, $I_{\mathrm{su}}^{-}$)가 시냅스 저장 루프에 자기장 양자를 추가하거나 제거하여 $I_{\mathrm{sy}}$ 를 이산 단위로 조정한다.
• 비지도 학습의 경우, 전순과 후순의 시냅스 뉴런에서 유도된 상관관계가 있는 광자 신호가 이중 광자 사건을 통해 헤브시안 또는 반-헤브시안 업데이트를 유도한다.
• 학습 속도는 $I_{\mathrm{su}}$ 를 조절하여 제어되며, 이는 시냅스 업데이트 크기의 동적 적응을 가능하게 한다.
• 메타가소성은 $I_{\mathrm{su}}$ 를 내부 시냅스 상태 또는 네트워크 활동에 따라 의존적으로 만들음으로써 실현되며, 시간에 따라 변화하는 학습 속도를 허용한다.

실험 결과

연구 질문

• RQ1 초전도 광전자 뉴런의 시냅스 가중치는 어떻게 자기장 저장 루프를 사용하여 동적으로 재구성할 수 있는가?
• RQ2 단일 광자 감도를 갖춘 지도 학습 및 비지도 학습 모두를 실현할 수 있는 회로 설계는 무엇인가?
• RQ3 장기 기억력 유지와 동적 학습을 지원하기 위해 실시간으로 학습 속도를 제어하고 적응시키는 방법은 무엇인가?
• RQ4 다중 안정적 시냅스 상태와 내부 시냅스 상태는 법칙에 따라 감소하는 기억력을 달성하는 데 어떤 역할을 하는가?
• RQ5 초전도 신경 회로에서 메타가소성을 어떻게 실현하여 빠른 학습과 기억 안정성을 균형 있게 유지할 수 있는가?

주요 결과

• 자기장 저장 루프가 다수의 자기장 양자를 저장할 수 있어 다중 안정적 시냅스 가중치를 실현하며, 수백 개의 중간 시냅스 강도 수준을 지원한다.
• 지도 학습은 50 ps의 스위칭 속도로 시냅스 저장 루프에 자기장 양자를 추가하거나 제거하는 전류 펄스를 통해 실현된다.
• 비지도 학습은 이중 광자 사건을 통해 헤브시안(강화) 및 반-헤브시안(약화) 시냅스 업데이트를 유도하는 방식으로 모델링된다.
• 학습 속도는 $I_{\mathrm{su}}$ 를 변화시킴으로써 동적으로 조절 가능하며, 이는 시냅스 업데이트 크기 제어와 메타가소성 행동을 가능하게 한다.
• 내부 상태 의존 업데이트 규칙과 활동 조절형 $I_{\mathrm{su}}$ 를 통해 단기 가소성, 홈오스테이틱 가소성, 메타가소성을 모두 지원하는 회로 설계가 가능하다.
• 다양한 안정적 시냅스 상태와 가변적인 $q$-상태를 조합함으로써 법칙에 따라 감소하는 기억력을 실현하며, 신호 대 잡음 비율을 희생시키지 않고도 기억 수명을 연장할 수 있다.