[논문 리뷰] Bottleneck of using single memristor as a synapse and its solution

Farnood Merrikh-Bayat, Saeed Bagheri Shouraki외 1명|arXiv (Cornell University)|2010. 08. 20.

Advanced Memory and Neural Computing참고 문헌 15인용 수 11

한 줄 요약

이 논문은 단일 메모리스터를 시냅스로 사용할 경우 비선형적인 메모리스턴스 변화로 인해 시냅스 가중치 갱신 속도가 변동되어 STDP 학습이 불안정해진다는 점을 규명한다. 이를 해결하기 위해 반대 극성의 두 개의 메모리스터를 직렬로 연결한 구조를 제안하며, 이는 갱신 속도를 안정화시키고 초기 메모리스턴스 값에 관계없이 일관된 STDP 성능을 보장한다.

ABSTRACT

It is now widely accepted that memristive devices are perfect candidates for the emulation of biological synapses in neuromorphic systems. This is mainly because of the fact that like the strength of synapse, memristance of the memristive device can be tuned actively (e.g., by the application of volt- age or current). In addition, it is also possible to fabricate very high density of memristive devices (comparable to the number of synapses in real biological system) through the nano-crossbar structures. However, in this paper we will show that there are some problems associated with memristive synapses (memristive devices which are playing the role of biological synapses). For example, we show that the variation rate of the memristance of memristive device depends completely on the current memristance of the device and therefore it can change significantly with time during the learning phase. This phenomenon can degrade the performance of learning methods like Spike Timing-Dependent Plasticity (STDP) and cause the corresponding neuromorphic systems to become unstable. Finally, at the end of this paper, we illustrate that using two serially connected memristive devices with different polarities as a synapse can somewhat fix the aforementioned problem.

연구 동기 및 목표

• 단일 메모리스터 시냅스에서 비선형적인 메모리스턴스 변화로 인해 발생하는 STDP 기반 뉴로모픽 시스템의 불안정성 원인을 규명하는 것.
• 메모리스턴스 변화 속도가 현재 메모리스턴스에 따라 크게 달라져, 시냅스 가중치 갱신이 일관되지 않음을 규명하는 것.
• 초기 메모리스턴스 값에 관계없이 균일한 STDP 갱신 행동을 보장하는 하드웨어 호환 가능한 솔루션을 개발하는 것.
• 반대 극성의 이중 메모리스터 구성이 학습 중 시냅스 가중치 동역학을 안정화시킬 수 있음을 보여주는 것.

제안 방법

• 반대 극성의 두 개의 직렬 연결된 메모리스턴스 장치로 구성된 시냅스 구조를 제안하여 총 메모리스턴스를 일정하게 유지하는 것.
• 동일한 메모리스턴스 장치를 사용하고 ΔR 값을 동일하게 설정하여 전압 유도 스위칭 중 대칭적이고 예측 가능한 동작을 보장하는 것.
• 초기 설정 시 두 장치의 메모리스턴스 합이 고정된 사전 정의된 값이 되도록 설정하는 것.
• 직렬 쌍 전체를 관통하는 총 전류가 일정하게 유지됨을 활용하여, 초기 메모리스턴스에 영향을 받지 않는 일관된 갱신 속도를 확보하는 것.
• 다양한 초기 메모리스턴스 값을 가진 STDP 학습을 시뮬레이션하여 갱신 함수가 장치 간에 불변해지는지 검증하는 것.
• HP 메모리스터 모델을 사용하여 솔루션의 탄력성과 경계 효과에 대한 저항성을 검증하고, 다른 메모리스턴스 장치로의 일반화 가능성을 입증하는 것.

실험 결과

연구 질문

• RQ1 초기 메모리스턴스에 따라 메모리스턴스 변화 속도가 비선형적으로 의존할 경우, 이는 메모리스턴스 신경망에서 STDP 학습에 어떤 영향을 미치는가?
• RQ2 왜 단일 메모리스터를 시냅스로 사용할 경우 STDP에서 학습 행동이 산산이 흩어지는가?
• RQ3 반대 극성의 이중 메모리스터 구성이 다양한 초기 상태에서 시냅스 가중치 갱신을 안정화시킬 수 있는가?
• RQ4 제안된 솔루션이 어느 정도까지 STDP 갱신 함수를 초기 메모리스턴스 값에서 분리하는가?
• RQ5 직렬 쌍 내의 총 메모리스턴스가 일정함으로써 전류와 갱신 역학이 어떻게 일관성 있게 유지되는가?

주요 결과

• 단일 메모리스터에서 메모리스턴스 변화 속도는 매우 비선형적이며 현재 메모리스턴스에 크게 의존하여, 시냅스 가중치 갱신이 일관되지 않게 된다.
• 이 의존성은 각 시냅스 가중치에 대해 별개의 STDP 갱신 함수를 유도하여 학습 과정을 불안정하게 만들 수 있다.
• 반대 극성의 두 개의 직렬 연결된 메모리스터를 사용하면 총 메모리스턴스가 안정화되어 일정한 전류와 균일한 갱신 속도를 확보할 수 있다.
• 초기 메모리스턴스 합이 고정되어 있고 장치가 동일할 경우, 초기 값에 관계없이 모든 시냅스 가중치에서 STDP 갱신 함수가 거의 동일해진다.
• 시뮬레이션 결과(그림 9)는 이중 메모리스터 구성 사용 시 다양한 초기 조건 하에서도 STDP 갱신 함수가 불변함을 확인한다.
• 이 솔루션은 탄력적이고 일반화 가능하며, R_on 또는 R_off 상태 근처의 경계 효과를 고려하더라도 여전히 효과를 발휘한다.