[논문 리뷰] Implementation of Multilayer Perceptron Network with Highly Uniform Passive Memristive Crossbar Circuits

F. Merrikh Bayat, M. Prezioso외 3명|arXiv (Cornell University)|2017. 12. 04.

Advanced Memory and Neural Computing참고 문헌 2인용 수 18

한 줄 요약

이 논문은 CMOS 구성 요소와 통합된 두 개의 20×20 수동 메모리스티브 크로스바 어レイ를 사용하여 하드웨어로 완전히 구현된 다층 퍼셉트론 분류기를 구현함으로써, 향상된 메모리스터 균일성 덕분에 시뮬레이션 정확도의 97%를 달성하였다. 이 시스템은 외부에서 학습하는 방식을 통해 높은 분류 정밀도를 확보하였으며, 아날로그 메모리스티브 하드웨어를 활용한 뉴로모르픽 컴퓨팅 분야에서 중요한 도약을 이룩하였다.

ABSTRACT

The progress in the field of neural computation hinges on the use of hardware more efficient than the conventional microprocessors. Recent works have shown that mixed-signal integrated memristive circuits, especially their passive ('0T1R') variety, may increase the neuromorphic network performance dramatically, leaving far behind their digital counterparts. The major obstacle, however, is relatively immature memristor technology so that only limited functionality has been demonstrated to date. Here we experimentally demonstrate operation of one-hidden layer perceptron classifier entirely in the mixed-signal integrated hardware, comprised of two passive 20x20 metal-oxide memristive crossbar arrays, board-integrated with discrete CMOS components. The demonstrated multilayer perceptron network, whose complexity is almost 10x higher as compared to previously reported functional neuromorphic classifiers based on passive memristive circuits, achieves classification fidelity within 3 percent of that obtained in simulations, when using ex-situ training approach. The successful demonstration was facilitated by improvements in fabrication technology of memristors, specifically by lowering variations in their I-V characteristics.

연구 동기 및 목표

• 수동 메모리스티브 크로스바를 사용하여 효율적인 뉴로모르픽 컴퓨팅을 위한 완전히 하드웨어로 구현된 다층 퍼셉트론 분류기를 개발하는 것.
• 미숙한 메모리스터 기술의 한계를 극복하기 위해 장치의 균일성을 향상시키고 I-V 특성의 변동을 줄이는 것.
• 이전의 수동 메모리스티브 분류기보다 훨씬 높은 복잡도를 지닌 확장 가능한 혼합 신호 뉴로모르픽 시스템을 구현하는 것.
• 외부에서 학습하는 방식을 사용하여 시스템 성능을 검증하고 시뮬레이션 기준과 비교하는 것.
• 수동 메모리스티브 어레이를 이산 CMOS 구성 요소와 통합하여 메모리스터 기반 신경망의 실용적 구현을 가능하게 하는 것.

제안 방법

• 시스템은 한 층의 은닉층을 가진 다층 퍼셉트론의 가중치 행렬을 실현하기 위해 두 개의 20×20 수동 메모리스티브 크로스바 어레이를 사용한다.
• 메모리스터는 I-V 특성의 변동을 줄이기 위해 개선된 균일성을 확보하기 위해 제작되었다.
• 크로스바 어레이들은 신호 조정, 펌웨어 설정 및 읽기 기능을 위해 이산 CMOS 구성 요소와 보드에 통합되었다.
• 외부에서 학습하는 방식이 사용되었으며, 네트워크 가중치는 사전에 오프라인으로 계산되어 메모리스티브 크로스바에 매핑되었다.
• 혼합 신호 처리 방식을 통해 하드웨어에서 추론을 수행하였으며, 아날로그 가중치와 디지털 제어 논리가 함께 사용되었다.
• 분류 성능 평가는 하드웨어 결과를 시뮬레이션 기준과 비교하여 평가되었다.

실험 결과

연구 질문

• RQ1 수동 메모리스티브 크로스바를 사용하여 고정밀도로 완전히 하드웨어로 실현된 다층 퍼셉트론을 구현할 수 있는가?
• RQ2 향상된 메모리스터 균일성이 뉴로모르픽 하드웨어 성능에 얼마나 기여하는가?
• RQ3 외부에서 학습하는 방식을 사용할 경우, 하드웨어 기반 다층 퍼셉트론의 분류 정확도는 시뮬레이션 결과와 어떻게 비교되는가?
• RQ4 수동 메모리스티브 크로스바가 이전에 보고된 것보다 훨씬 높은 복잡도의 네트워크를 지원할 수 있는가?
• RQ5 CMOS 통합은 메모리스티브 뉴로모르픽 시스템의 안정적이고 정확한 작동을 가능하게 하는 데 어떤 역할을 하는가?

주요 결과

• 하드웨어로 실현된 다층 퍼셉트론은 시뮬레이션 기준과 3% 이내의 정확도를 확보하여 높은 정밀도를 입증하였다.
• 이 시스템의 복잡도는 이전에 보고된 수동 메모리스티브 회로 기반 기능성 뉴로모르픽 분류기보다 거의 10배 높았다.
• 향상된 메모리스터 제조 공정 덕분에 I-V 특성의 변동이 감소하여 크로스바 어레이의 신뢰성 있는 작동이 가능해졌다.
• 이산 CMOS 구성 요소와의 통합을 통해 수동 메모리스티브 크로스바가 안정적이고 정확한 추론을 수행할 수 있게 되었다.
• 외부에서 학습하는 방식이 사전에 계산된 가중치를 하드웨어에 성공적으로 매핑하여 일관된 성능을 확보하였다.
• 결과적으로 수동 메모리스티브 크로스바를 사용한 확장 가능하고 고성능의 뉴로모르픽 컴퓨팅의 실현 가능성을 확인하였다.