[논문 리뷰] Efficient neuro-fuzzy system and its Memristor Crossbar-based Hardware Implementation

Farnood Merrikh-Bayat, Saeed Bagheri Shouraki|arXiv (Cornell University)|2011. 03. 06.

Advanced Memory and Neural Computing참고 문헌 20인용 수 3

한 줄 요약

이 논문은 새로운 함의 기법을 기반으로 한 학습 방법을 통해 퍼지 관계를 구성함으로써 정확한 수학적 튜닝이 필요 없도록 하는 새로운 신경 퍼지 시스템을 제안한다. 이 시스템은 메모리스터 크로스바 기반 아날로그 회로로 구현되었으며, 고장 내성, 비음성 시냅스 가중치, 실시간 계산 기능을 내재하고 있으며, 50%의 고장 난 메모리스터가 존재하는 상황에서도 2입력 비선형 함수를 모델링할 때 평균 제곱오차(MSE)가 0.021에 도달한다.

ABSTRACT

In this paper a novel neuro-fuzzy system is proposed where its learning is based on the creation of fuzzy relations by using new implication method without utilizing any exact mathematical techniques. Then, a simple memristor crossbar-based analog circuit is designed to implement this neuro-fuzzy system which offers very interesting properties. In addition to high connectivity between neurons and being fault-tolerant, all synaptic weights in our proposed method are always non-negative and there is no need to precisely adjust them. Finally, this structure is hierarchically expandable and can compute operations in real time since it is implemented through analog circuits. Simulation results show the efficiency and applicability of our neuro-fuzzy computing system. They also indicate that this system can be a good candidate to be used for creating artificial brain.

연구 동기 및 목표

• 불확실성 하에서 신경망의 적응성과 퍼지 논리의 인지적 추론을 융합한 신경 퍼지 시스템을 개발하기 위해.
• 기존의 신경 퍼지 시스템의 한계를 극복하기 위해 규칙 및 소속 함수 튜닝에 정확한 수학적 기법에 의존하지 않도록 하기 위해.
• 생물학적 시냅스를 모방하는 메모리스터 크로스바를 활용해 효율적이고 확장 가능하며 고장 내성 있는 하드웨어 구현을 가능하게 하기 위해.
• 인공 뇌 응용 분야에 적합한 실시간, 계층적, 아날로그 계산이 가능한 시스템을 구현하기 위해.

제안 방법

• 신규 함의 기법을 통해 퍼지 관계를 구성함으로써 주요 헤브시안 학습 규칙을 모방하며, 모든 시냅스 가중치가 음수가 되지 않도록 보장한다.
• 메모리스터 크로스바 구조를 사용하여 시냅스 가중치를 저장하며, 전하와 흐름을 통해 메모리스턴스를 조절하여 시냅스 가소성을 모방한다.
• 추론 메커니즘이 아날로그 영역에서 완전히 작동하여 디지털 변환 없이 실시간 계산이 가능하다.
• 다중 크로스바 유닛을 연결하여 복잡한 다중 입력 함수를 모델링할 수 있도록 계층적으로 확장 가능하다.
• 학습은 균일하게 분포된 결정적 데이터와 가우시안 소속 함수로부터 생성된 퍼지 입력-출력 데이터를 사용한다.
• 고장 내성은 50%의 메모리스터 고장을 시뮬레이션함으로써 평가되었으며, 고장 난 메모리스터는 Roff 상태로 고정되어 재프로그래밍이 불가능하다.

실험 결과

연구 질문

• RQ1 퍼지 논리와 신경망 구성 요소가 완전히 융합된 신경 퍼지 시스템을 설계할 수 있는가? 이 경우 두 요소를 구분하기가 매우 어려울 정도로 통합되어 있는가?
• RQ2 소속 함수와 규칙의 정확한 수학적 튜닝을 피하고, 대신 퍼지 관계 형성에 기반한 학습 방법을 개발할 수 있는가?
• RQ3 메모리스터 크로스바 기반 아날로그 회로가 고연결성, 고장 내성, 실시간 작동을 동시에 달성할 수 있는가?
• RQ4 메모리스터의 대규모 비율이 고장 났을 경우 시스템이 얼마나 정확도를 유지할 수 있는가?
• RQ5 기존의 신경 퍼지 및 뉴모르픽 하드웨어 접근 방식과 비교했을 때, 제안된 시스템은 성능 및 효율성 면에서 어떤가?

주요 결과

• 제안된 신경 퍼지 시스템은 800개의 학습 데이터 포인트를 사용하여 2입력 비선형 함수를 모델링할 때 평균 제곱오차(MSE)가 0.021에 도달하였다.
• 약 50%의 메모리스터가 고장 났을 경우(고정된 Roff 상태)에도 시스템은 수용 가능한 정확도를 유지하였으며, 동일한 모델링 과제에서 MSE가 0.0281에 도달하였다.
• 시스템은 고유한 고장 내성 기능을 보였으며, 크로스바 내의 메모리스터의 절반 이상이 고장 났음에도 불구하고 만족스럽게 기능을 계속하였다.
• 퍼지 관계 형성에 기반한 학습 과정은 주요 헤브시안 규칙과 동치이며, 정밀한 조정 없이도 모든 시냅스 가중치가 음수가 되지 않도록 보장한다.
• 아날로그 방식의 메모리스터 크로스바 기반 구현은 실시간 계산을 가능하게 하며, 복잡한 함수 모델링을 위한 계층적 확장이 가능하다.
• 시스템의 추론 메커니즘은 입력과 출력을 신뢰도 정도로 해석할 경우, 메모리스터 크로스바 기반 신경망과 유사하게 작동하므로, 인공 뇌 응용 분야에 매우 높은 잠재력을 지닌다.