[논문 리뷰] Single Flux Quantum Based Ultrahigh Speed Spiking Neuromorphic Processor Architecture

Ali Bozbey, Mustafa Altay Karamuftuoglu외 2명|arXiv (Cornell University)|2018. 12. 26.

Neural Networks and Reservoir Computing참고 문헌 106인용 수 12

한 줄 요약

이 논문은 단일 플럭스 양자(SFQ) 기반의 스파iking 뉴로모픽 프로세서 아키텍처를 제안하며, 주로 조셉슨 접합(JJ-Neuron)을 사용한다. 이는 초고속 작동이 가능한 초전도성 인공 뉴런이다. 이 아키텍처는 1.2×10¹⁰ SOPS의 성능과 8.57×10¹¹ SOPS/W의 효율성을 달성하였으며, IRIS 데이터셋에서 100% 정확도를 보였고, 10¹⁸ SOPS 및 10¹⁷ SOPS/W로의 확장성도 입증되어, CMOS 및 나노광학 기반 시스템에 비해 수개의 주기수 차수만큼 뛰어난 성능을 보였다.

ABSTRACT

Artificial neural networks inspired by brain operations can improve the possibilities of solving complex problems more efficiently. Today's computing hardware, on the other hand, is mainly based on von Neumann architecture and CMOS technology, which is inefficient at implementing neural networks. For the first time, we propose an ultrahigh speed, spiking neuromorphic processor architecture built upon single flux quantum (SFQ) based artificial neurons (JJ-Neuron). Proposed architecture has the potential to provide higher performance and power efficiency over the state of the art including CMOS, memristors and nanophotonics devices. JJ-Neuron has the ultrafast spiking capability, trainability with commodity design software even after fabrication and compatibility with commercial CMOS and SFQ foundry services. We experimentally demonstrate the soma part of the JJ-Neuron for various activation functions together with peripheral SFQ logic gates. Then, the neural network is trained for the IRIS dataset and we have shown 100% match with the results of the offline training with 1.2x${10}^{10}$ synaptic operations per second (SOPS) and 8.57x${10}^{11}$ SOPS/W performance and power efficiency, respectively. In addition, scalability for ${10}^{18}$ SOPS and ${10}^{17}$ SOPS/W is shown which is at least five orders of magnitude more efficient than the state of the art CMOS circuits and one order of magnitude more efficient than estimations of nanophotonics-based architectures.

연구 동기 및 목표

• 인공 신경망을 구현하는 데 있어 바르누이안 및 CMOS 기반 아키텍처의 비효율성을 극복하기 위해.
• 초전도성 단일 플럭스 양자(SFQ) 기술을 활용해 초고속 및 초저에너지 효율을 갖춘 뉴로모픽 프로세서를 개발하기 위해.
• 조셉슨 접합(JJ-Neuron)을 사용해 훈련 가능하고 확장성 있고 CMOS와 호환되는 인공 뉴런을 설계하기 위해.
• 표준 데이터셋에서의 실험적 검증을 통해 실시간 고속 신경망 추론을 구현하기 위해.
• 최신 기술에 비해 에너지 효율성이 수개의 주기수 차수만큼 뛰어나게 초익스라스 케이스 뉴로모픽 컴퓨팅의 길을 마련하기 위해.

제안 방법

• 아키텍처는 조셉슨 접합 기반의 인공 뉴런인 JJ-뉴런을 중심으로 구성되며, 이는 100 fs 이내의 스위칭 속도를 가능하게 한다.
• SFQ 논리 게이트를 사용해 다수의 활성화 함수에 대해 JJ-뉴런의 수상체를 실험적으로 검증하였다.
• 스파이크 인코딩, 디코딩 및 시냅스 연산을 지원하기 위해 주변 SFQ 논리 회로를 통합하였다.
• 신경망은 표준 소프트웨어 도구를 사용해 훈련하고, 제작 후 SFQ 하드웨어에 컴파일하였다.
• 초전도 회로의 내재된 고속성과 낮은 에너지 손실을 활용해 고성능의 SOPS 및 SOPS/W 지표를 달성하였다.
• 확장성 분석은 외삽 모델을 사용하여 10¹⁸ SOPS 및 10¹⁷ SOPS/W까지의 성능을 예측하였다.

실험 결과

연구 질문

• RQ1 초전도성 뉴로모픽 프로세서는 CMOS 기반 시스템에 비해 현저히 높은 속도와 에너지 효율을 달성할 수 있는가?
• RQ2 제작 후 전통적인 설계 도구를 사용해 JJ-뉴런을 훈련시킬 수 있는가? 이는 실용적 구현을 가능하게 하는가?
• RQ3 SFQ 기반 논리 회로와 신경 구성 요소를 함께 통합해 功能성 있고 확장 가능한 뉴로모픽 프로세서를 구성할 수 있는가?
• RQ4 실세계의 추론 작업(예: IRIS 데이터셋)에서 어떤 성능 지표(SOPS, SOPS/W)를 달성할 수 있는가?
• RQ5 이 아키텍처는 초익스라스 케이스 뉴로모픽 컴퓨팅 수준까지 어느 정도 확장 가능한가?

주요 결과

• SFQ 논리 게이트를 사용해 다수의 활성화 함수에 대해 JJ-뉴런 수상체를 실험적으로 검증하여 기능적 신뢰성을 확인하였다.
• 훈련된 신경망은 IRIS 데이터셋에서 오프라인 훈련 결과와 동일한 100% 분류 정확도를 달성하였다.
• 시스템은 1.2×10¹⁰ SOPS의 시냅스 연산 성능과 8.57×10¹¹ SOPS/W의 에너지 효율을 달성하였다.
• 아키텍처는 10¹⁸ SOPS 및 10¹⁷ SOPS/W로 확장 가능하며, 최신 CMOS 회로에 비해 최소 5개 주기수 차수의 향상을 보였다.
• 상업용 CMOS 및 SFQ 팹 서비스와 호환되어 실용적인 제작 및 통합이 가능하다.
• 제작 후 일반적인 EDA 도구를 사용해 훈련이 가능함을 입증하여 탄력적인 배포가 가능하다.