[논문 리뷰] A Time-domain Analog Weighted-sum Calculation Model for Extremely Low Power VLSI Implementation of Multi-layer Neural Networks

Quan Wang, Hakaru Tamukoh외 1명|arXiv (Cornell University)|2018. 10. 16.

Advanced Memory and Neural Computing참고 문헌 1인용 수 20

한 줄 요약

이 논문은 초저전력 VLSI 구현을 위한 다층 신경망을 위해 시간 도메인 아날로그 가중합 계산 모델을 제안한다. 적분-화염 스파iking 뉴런을 사용하여 임계 이하 MOSFET를 이용한 일시적 RC 충전을 활용함으로써, 250-nm CMOS 기술을 사용하여 290 TOPS/W의 에너지 효율성을 달성하였으며, 이는 최신 디지털 AI 프로세서보다 10배 이상 높다. 향후 고도의 공정 기술을 적용할 경우 1,000 TOPS/W 이상의 효율성도 가능하다.

ABSTRACT

A time-domain analog weighted-sum calculation model is proposed based on an integrate-and-fire-type spiking neuron model. The proposed calculation model is applied to multi-layer feedforward networks, in which weighted summations with positive and negative weights are separately performed in each layer and summation results are then fed into the next layers without their subtraction operation. We also propose very large-scale integrated (VLSI) circuits to implement the proposed model. Unlike the conventional analog voltage or current mode circuits, the time-domain analog circuits use transient operation in charging/discharging processes to capacitors. Since the circuits can be designed without operational amplifiers, they can operate with extremely low power consumption. However, they have to use very high resistance devices on the order of G$ m Ω$. We designed a proof-of-concept (PoC) CMOS VLSI chip to verify weighted-sum operation with the same weights and evaluated it by post-layout circuit simulation using 250-nm fabrication technology. High resistance operation was realized by using the subthreshold operation region of MOS transistors. Simulation results showed that energy efficiency for the weighted-sum calculation was 290~TOPS/W, more than one order of magnitude higher than that in state-of-the-art digital AI processors, even though the minimum width of interconnection used in the PoC chip was several times larger than that in such digital processors. If state-of-the-art VLSI technology is used to implement the proposed model, an energy efficiency of more than 1,000~TOPS/W will be possible. For practical applications, development of emerging analog memory devices such as ferroelectric-gate FETs is necessary.

연구 동기 및 목표

• 엣지 AI 응용을 위한 초저전력 VLSI 구현을 가능하게 하기 위해 다층 신경망을 설계한다.
• 딥 뉴럴 네트워크에서 기존 디지털 MAC 연산의 높은 에너지 비용을 해결한다.
• 운용 증폭기를 피하고 초저전력 동작을 가능하게 하는 시간 도메인 아날로그 계산 방법을 개발한다.
• 250-nm 기술을 사용한 프로토타입 CMOS VLSI 칩을 통해 실현 가능성을 입증한다.
• 특히 신세대 아날로그 메모리 장치와 저전력 비교기 설계의 필요성과 함께, 이 접근법의 스케일업에 있어 주요 과제를 규명한다.

제안 방법

• 입력 스파이크의 타이밍이 시냅스 후 전위의 상승 시간을 조절하는 적분-화염 스파이킹 뉴런 프레임워크를 사용한다.
• 저항과 커패시턴스로 결정되는 시간 상수를 갖는 RC 회로를 통해 가중합을 수행하며, 저항은 임계 이하 MOSFET를 사용해 GΩ 수준의 값을 구현한다.
• 양수 및 음수 가중치는 별도의 RC 경로를 통해 병렬로 계산되며, 명시적 뺄셈 없이 결과가 통합된다.
• 뉴런 부분은 임계값 도달 감지용 비교기를 사용하며, ReLU 활성화는 두 타이밍 신호 중 늦은 것을 출력하는 단순 논리 게이트로 구현된다.
• 250-nm 기술에서 후기판 설계 검증을 위한 포스트레이아웃 시뮬레이션을 통해 프로토타입 CMOS VLSI 칩을 설계하고 검증하였다.
• 회로 아키텍처는 직접 스파이크 타이밍 전파를 통해 다층 피드포워드 네트워크를 지원한다.

실험 결과

연구 질문

• RQ1 시간 도메인 아날로그 계산에서 일시적 RC 상태를 활용하면 신경망의 디지털 MAC 연산보다 현저히 낮은 에너지 소비를 달성할 수 있는가?
• RQ2 아날로그 영역에서 뺄셈 없이도 양수 및 음수 가중치를 효율적으로 계산하고 통합할 수 있는가?
• RQ3 CMOS VLSI에서 고저항 요소로 하이브리드 MOSFET를 사용할 경우 어떤 수준의 에너지 효율성을 달성할 수 있는가?
• RQ4 제안된 모델은 에너지 효율성과 정밀도 측면에서 기존 디지털 AI 프로세서와 비교해 어떤가?
• RQ5 실제 구현에 있어 주요 하드웨어 제약 요소는 무엇인가? 특히 메모리 및 비교기 설계 측면에서의 과제는 무엇인가?

주요 결과

• 제안된 시간 도메인 아날로그 가중합 모델은 250-nm CMOS 기술을 사용한 포스트레이아웃 시뮬레이션에서 290 TOPS/W의 에너지 효율성을 달성하였다.
• 이 에너지 효율성은 최신 디지털 AI 프로세서의 효율성보다 10배 이상 높다.
• 합성 회로는 운영당 약 3.34 fJ의 소비를 보였으며, 뉴런 비교기는 약 1.67 pJ를 기여하여 비교기가 주요 에너지 기여 요소임을 시사한다.
• 모델은 운용 증폭기를 피하고 오직 수동 RC 구성 요소와 스위치만을 사용하여 초저전력 동작을 가능하게 하였다.
• 저파라시틱 커패시턴스를 갖는 고도의 VLSI 공정 기술을 적용할 경우 에너지 효율성이 1,000 TOPS/W 이상을 초과할 수 있다.
• 이 접근법은 아날로그 비이상성에 대해 강건하며, 다층 퍼셉트론을 사용한 MNIST 테스트에서 수치 계산과 비교해 유사한 정확도를 유지한다.