[논문 리뷰] An Analog Neural Network Computing Engine using CMOS-Compatible Charge-Trap-Transistor (CTT)

Yuan Du, Li Du외 9명|arXiv (Cornell University)|2017. 09. 19.

Advanced Memory and Neural Computing참고 문헌 30인용 수 3

한 줄 요약

이 논문은 8비트 고정소수점 정밀도를 사용하여 MNIST 숫자 분류에서 최고 성능을 보이며, 500 MHz에서 76.8 TOPS 성능을 내고 전력 소비가 14.8 mW인 CMOS 호환 아날로그 신경망 계산 엔진을 제안한다. 이 설계는 확장 가능한 CTT 배치와 순차적 아날로그 패브릭을 활용하여 면적과 전력을 최소화하며, 전력 소비가 낮고 면적이 작고, 실리콘 기반의 구현을 통해 최신 기술 수준의 성능을 입증한다.

ABSTRACT

An analog neural network computing engine based on CMOS-compatible charge-trap transistor (CTT) is proposed in this paper. CTT devices are used as analog multipliers. Compared to digital multipliers, CTT-based analog multiplier shows significant area and power reduction. The proposed computing engine is composed of a scalable CTT multiplier array and energy efficient analog-digital interfaces. Through implementing the sequential analog fabric (SAF), the engine mixed-signal interfaces are simplified and hardware overhead remains constant regardless of the size of the array. A proof-of-concept 784 by 784 CTT computing engine is implemented using TSMC 28nm CMOS technology and occupied 0.68mm2. The simulated performance achieves 76.8 TOPS (8-bit) with 500 MHz clock frequency and consumes 14.8 mW. As an example, we utilize this computing engine to address a classic pattern recognition problem -- classifying handwritten digits on MNIST database and obtained a performance comparable to state-of-the-art fully connected neural networks using 8-bit fixed-point resolution.

연구 동기 및 목표

• 엣지 AI 응용을 위한 저전력, 면적 효율적인 신경망 가속기를 개발하기 위해.
• 디지털 승수기와 비교해 면적과 전력 소비를 줄이기 위해 CMOS 호환 전하 포획 트랜지스터(CTT)를 아날로그 승수기로 활용하기 위해.
• 배열 크기에 관계없이 일정한 하드웨어 오버헤드를 유지하는 순차적 아날로그 패브릭(SAF)을 통해 혼합 신호 인터페이스를 단순화하기 위해.
• 28nm CMOS 기술을 사용한 실리콘 구현을 통해 높은 성능과 에너지 효율성을 입증하기 위해.
• 8비트 고정소수점 정밀도를 사용하여 표준 벤치마크인 MNIST에서 경쟁 가능한 추론 정확도를 달성하기 위해.

제안 방법

• 신경망의 내적 곱 연산을 수행하기 위해 아날로그 승수기로 구성된 확장 가능한 CTT 장치 어레이를 사용하는 계산 엔진.
• 전하 포획 트랜지스터는 전하를 저장하고 조절하여 시냅스 가중치를 표현함으로써 높은 에너지 효율성으로 아날로그 계산을 가능하게 한다.
• 데이터 흐름을 간소화하고 혼합 신호 인터페이스의 복잡성을 줄이기 위해 순차적 아날로그 패브릭(SAF)을 도입한다.
• SAF 설계는 어레이 크기가 증가함에 따라 인터페이스 회로의 하드웨어 오버헤드가 일정하게 유지됨을 보장한다.
• 시스템은 TSMC 28nm CMOS 공정 기술로 제작되었으며, 784×784 CTT 어레이가 0.68 mm²의 면적을 차지한다.
• 고속 및 저전력 동작을 지원하기 위해 아날로그-디지털 변환기와 디지털-아날로그 변환기를 최적화하였다.

실험 결과

연구 질문

• RQ1 CTT 기반 아날로그 승수기는 신경망 가속기에서 디지털 승수기와 비교해 상당한 면적 및 전력 절감을 달성할 수 있는가?
• RQ2 대규모 아날로그 신경망 어레이에서 혼합 신호 인터페이스의 복잡성을 어떻게 최소화할 수 있는가?
• RQ3 배열 크기가 증가함에 따라 순차적 아날로그 패브릭(SAF)이 얼마나 일정한 하드웨어 오버헤드를 유지할 수 있는가?
• RQ4 28nm CMOS 및 CTT 기술을 사용한 실리콘 구현에서 어떤 성능과 에너지 효율성을 달성할 수 있는가?
• RQ5 제안된 엔진은 8비트 고정소수점 정밀도를 사용하여 표준 벤치마크인 MNIST에서 경쟁 가능한 추론 정확도를 달성할 수 있는가?

주요 결과

• 784×784 CTT 계산 엔진은 TSMC 28nm CMOS 공정 기술에서 단지 0.68 mm²의 면적을 차지한다.
• 엔진은 500 MHz 클럭 주파수에서 14.8 mW 전력 소비로 76.8 TOPS의 성능을 달성한다.
• 시스템은 8비트 고정소수점 정밀도를 사용하여 MNIST 데이터셋에서 최신 기술 수준의 완전 연결 신경망과 유사한 분류 정확도를 보였다.
• 순차적 아날로그 패브릭(SAF)의 사용으로 배열 크가 증가하더라도 혼합 신호 인터페이스 오버헤드가 일정하게 유지되어 확장 가능한 설계가 가능했다.
• 시뮬레이션을 통해 CTT 기반 아날로그 승수기는 기존 디지털 승수기 대비 상당한 면적 및 전력 절감 효과를 입증하였다.
• 설계는 완전히 CMOS 호환되어 표준 디지털 논리 회로 및 제조 공정과의 통합이 가능하다.