[논문 리뷰] Advancing Memristive Analog Neuromorphic Networks: Increasing Complexity, and Coping with Imperfect Hardware Components

Farnood Merrikh-Bayat, M. Prezioso외 3명|arXiv (Cornell University)|2016. 11. 10.

Advanced Memory and Neural Computing참고 문헌 4인용 수 8

한 줄 요약

이 논문은 두 개의 20×20 메모리스티브 크로스바 어レイ와 428개의 금속 산화물 메모리스티브를 사용하여 3층의 혼합 신호 뉴로모픽 네트워크를 제안하며, 4×4 이진 이미지를 4개의 클래스로 분류하는 데 성공한다. 이 시스템은 하드웨어 기반으로 추론을 완전히 수행하며, 새로운 학습 기법과 온도 향상형 메모리스티브 승수기 설계를 통해 결함 및 변동성에 대한 내성을 확보한다. 300개의 은닉층 뉴런을 사용한 MNIST에 대한 모델링을 통해 확장 가능성도 검증한다.

ABSTRACT

We experimentally demonstrate classification of 4x4 binary images into 4 classes, using a 3-layer mixed-signal neuromorphic network ("MLP perceptron"), based on two passive 20x20 memristive crossbar arrays, board-integrated with discrete CMOS components. The network features 10 hidden-layer and 4 output-layer analog CMOS neurons and 428 metal-oxide memristors, i.e. is almost an order of magnitude more complex than any previously reported functional memristor circuit. Moreover, the inference operation of this classifier is performed entirely in the integrated hardware. To deal with larger crossbar arrays, we have developed a semi-automatic approach to their forming and testing, and compared several memristor training schemes for coping with imperfect behavior of these devices, as well as with variability of analog CMOS neurons. The effectiveness of the proposed schemes for defect and variation tolerance was verified experimentally using the implemented network and, additionally, by modeling the operation of a larger network, with 300 hidden-layer neurons, on the MNIST benchmark. Finally, we propose a simple modification of the implemented memristor-based vector-by-matrix multiplier to allow its operation in a wider temperature range.

연구 동기 및 목표

• 분류 작업을 수행할 수 있는 복잡한, 완전히 하드웨어 기반으로 구현된 메모리스티브 뉴로모픽 네트워크를 개발하는 것.
• 대규모 뉴로모픽 시스템에서 메모리스티브의 변동성과 아날로그 CMOS 뉴런의 비이상성과 같은 하드웨어 결함을 다루는 것.
• 반자동 형성 및 테스트 방법론을 통해 메모리스티브 크로스바 어레이의 확장성을 보장하는 것.
• 수정된 메모리스티브 기반 벡터-행렬 승수기 설계를 통해 온도 변화에 대한 강건성을 향상시키는 것.
• 실험 결과와 MNIST 벤치마크에서의 대규모 모델링을 통해 내성 기법을 검증하는 것.

제안 방법

• 네트워크는 두 개의 20×20 수동 메모리스티브 크로스바 어레이와 분리된 CMOS 구성 요소를 통합하여 3층의 MLP 퍼셉트론을 구현한다.
• 은닉층과 출력층에 아날로그 CMOS 뉴런을 사용하며, 428개의 금속 산화물 메모리스티브가 시냅스 가중치를 형성한다.
• 제조 및 통합 과제를 관리하기 위해 대규모 크로스바 어레이의 형성 및 테스트를 위한 반자동 접근법을 개발하였다.
• 메모리스티브와 CMOS 뉴런의 비이상성 및 변동성을 보완하기 위해 여러 메모리스티브 학습 기법을 평가하였다.
• 작동 온도 범위를 연장하기 위해 수정된 벡터-행렬 승수기 설계를 제안하였다.
• 내성 기법의 효과는 실험적 검증과 MNIST에서 300개의 뉴런을 갖는 은닉층 네트워크의 시뮬레이션을 통해 확인되었다.

실험 결과

연구 질문

• RQ1 400개 이상의 메모리스티브를 갖는 완전히 하드웨어 기반의 뉴로모픽 네트워크가 성공적으로 제작되고 작동할 수 있는가?
• RQ2 다양한 학습 기법이 메모리스티브와 CMOS 뉴런의 비이상성에 얼마나 효과적으로 대응하는가?
• RQ3 반자동 방법이 대규모 메모리스티브 크로스바 어레이의 형성 및 테스트를 신뢰성 있게 수행할 수 있는가?
• RQ4 장치의 변동성과 온도 변화에 노출되었을 때 네트워크가 정확도를 얼마나 오랫동안 유지할 수 있는가?
• RQ5 실험적 및 모델링 검증을 통해 제안된 시스템이 MNIST와 같은 더 큰 벤치마크로 확장될 수 있는가?

주요 결과

• 실행된 3층 네트워크는 오직 하드웨어 기반 추론만을 사용하여 4×4 이진 이미지를 4개의 클래스로 성공적으로 분류하였으며, 이는 이전 연구들보다 거의 한 계단 높은 시스템 복잡성을 보여준다.
• 제안된 학습 기법은 메모리스티브의 비이상성과 CMOS 뉴런의 변동성에 미치는 영향을 효과적으로 완화하여 신뢰성 있는 작동을 가능하게 하였다.
• 실험적 검증을 통해 실제 하드웨어 환경에서 내성 메커니즘이 강건함을 확인하였다.
• 모델링 결과는 300개의 은닉층 뉴런을 갖는 더 큰 네트워크가 MNIST 벤치마크에서 만족스러운 성능을 달성할 수 있음을 보여주며, 확장 가능성 잠재력을 시사한다.
• 수정된 메모리스티브 기반의 벡터-행렬 승수기는 더 넓은 온도 범위에서 안정적인 작동을 가능하게 하여 실용적 구현 가능성을 향상시켰다.
• 반자동 형성 및 테스트 접근법은 대규모 크로스바 어레이의 효율적 통합 및 특성 분석을 가능하게 하여 향후 확장성 지원에 기여한다.