[논문 리뷰] Sub-1-us, Sub-20-nJ Pattern Classification in a Mixed-Signal Circuit Based on Embedded 180-nm Floating-Gate Memory Cell Arrays

Farnood Merrikh-Bayat, Xinjie Guo외 4명|arXiv (Cornell University)|2016. 10. 06.

Advanced Memory and Neural Computing참고 문헌 7인용 수 6

한 줄 요약

이 논문은 임베디드 180-nm 플로ating 게이트 메모리 어레이를 활용하여 1μs 이하, 20-nJ 이하의 패턴 분류를 달성하는 혼합 신호 뉴로모픽 회로를 제시한다. 조절 가능한 플로ating 게이트 세포를 통한 정밀한 아날로그 벡터-행렬 곱셈을 활용함으로써, 프로토타입은 MNIST에서 94.65%의 정확도를 보이며, 속도와 에너지 효율성 측면에서 최신 디지털 구현보다 뛰어난 성능을 나타낸다.

ABSTRACT

We have designed, fabricated, and successfully tested a prototype mixed-signal, 28x28-binary-input, 10-output, 3-layer neuromorphic network ("MLP perceptron"). It is based on embedded nonvolatile floating-gate cell arrays redesigned from a commercial 180-nm NOR flash memory. The arrays allow precise (~1%) individual tuning of all memory cells, having long-term analog-level retention and low noise. Each array performs a very fast and energy-efficient analog vector-by-matrix multiplication, which is the bottleneck for signal propagation in most neuromorphic networks. All functional components of the prototype circuit, including 2 synaptic arrays with 101,780 floating-gate synaptic cells, 74 analog neurons, and the peripheral circuitry for weight adjustment and I/O operations, have a total area below 1 mm^2. Its testing on the common MNIST benchmark set (at this stage, with a relatively low weight import precision) has shown a classification fidelity of 94.65%, close to the 96.2% obtained in simulation. The classification of one pattern takes less than 1 us time and ~20 nJ energy - both numbers much better than for digital implementations of the same task. Estimates show that this performance may be further improved using a better neuron design and a more advanced memory technology, leading to a >10^2 advantage in speed and a >10^4 advantage in energy efficiency over the state-of-the-art purely digital (GPU and custom) circuits, at classification of large, complex patterns.

연구 동기 및 목표

• 임베디드 비揮성 메모리를 활용하여 실시간 패턴 분류를 위한 저전력·고속 뉴로모픽 프로세서를 개발한다.
• 뉴럴 네트워크 추론에서 전통적인 디지털 구현의 에너지 및 지연 장벽을 아날로그 메모리 내 계산을 통해 극복한다.
• 확장 가능하고 에너지 효율적인 신경망 가속을 위한 임베디드 플로ating 게이트 메모리 어레이를 통합한 완전한 혼합 신호 회로를 구현한다.
• 상용 180-nm 플래시 기술을 활용하여 뉴로모픽 시스템에서 고정밀·저노이즈의 시냅스 가중치 저장이 가능한가를 검증한다.
• 패턴 분류 작업에서 최신 디지털 가속기 대비 속도와 에너지 효율성 측면에서 뚜렷이 뛰어난 성능 지표를 달성한다.

제안 방법

• 비휘성 시냅스 가중치 저장을 위해 임베디드 180-nm NOR 플래시 메모리 어레이를 사용하였으며, 약 1%의 해상도로 정밀한 아날로그 튜닝이 가능하도록 재구성하였다.
• 28×28 이진 입력, 10개의 출력, 74개의 아날로그 뉴런을 포함한 3층 피드포워드 MLP 아키텍처를 단일 칩에 통합하였다.
• 플로팅 게이트 세포를 이용해 메모리 내에서 직접 아날로그 벡터-행렬 곱셈을 수행함으로써 외부 메모리 이동을 제거하고 지연을 감소시켰다.
• 실시간 운영을 지원하기 위해 현장에서의 가중치 조정, 입력/출력 인터페이싱, 신호 조정을 위한 주변 회로를 설계하였다.
• 플로팅 게이트 세포에서 낮은 노이즈와 장기적인 아날로그 유지 특성을 확보하여 안정적이고 반복 가능한 시냅스 가중치 값을 구현하였다.
• 101,780개의 시냅스 세포와 74개의 뉴런을 포함한 모든 구성 요소를 총 면적이 1 mm² 이내에 통합하였다.

실험 결과

연구 질문

• RQ1 임베디드 180-nm 플로팅 게이트 메모리 어레이는 뉴로모픽 계산에서 고정밀·저노이즈의 시냅스 가중치 저장에 효과적으로 재사용될 수 있는가?
• RQ2 플로팅 게이트 어레이나 아날로그 메모리 내 계산을 통해 디지털 구현 대비 패턴 분류의 에너지 소비와 지연을 얼마나 줄일 수 있는가?
• RQ3 이 방법을 사용한 완전 통합 혼합 신호 뉴로모픽 회로의 분류 정확도 및 성능(지연, 에너지 소비)은 어느 정도인가?
• RQ4 현재 프로토타입을 초월해 뉴런 설계 및 메모리 기술의 향상에 따라 성능은 어떻게 스케일링되는가?
• RQ5 단일 칩에 아날로그 뉴런과 메모리 어레이를 통합함으로써 1μs 이하의 분류 시간과 20-nJ 이하의 에너지 소비를 달성할 수 있는가?

주요 결과

• 프로토타입은 입력 패턴당 분류 지연이 1 μs 미만이었으며, 1μs 이하의 추론 능력을 입증하였다.
• 분류당 에너지 소비는 약 20 nJ로 측정되었으며, 최신 디지털 가속기 대비 현저히 낮았다.
• MNIST 벤치마크에서 회로는 94.65%의 분류 정밀도를 달성하였으며, 시뮬레이션에서 관찰된 96.2% 정확도에 근접하였다.
• 플로팅 게이트 세포에서 안정적인 장기 유지 및 낮은 노이즈 특성을 확보하여 약 1%의 해상도로 정밀한 아날로그 가중치 튜닝이 가능하였다.
• 101,780개의 시냅스 세포와 74개의 아날로그 뉴런을 포함한 전체 회로가 1 mm² 이내의 작고 컴act한 면적에 통합되었다.
• 성능 추정치에 따르면, 향상된 뉴런 설계와 메모리 기술을 통해 속도는 100배 이상, 에너지 효율성은 10,000배 이상 향상될 수 있을 것으로 예상된다.