[논문 리뷰] CrossStack: A 3-D Reconfigurable RRAM Crossbar Inference Engine

Jason K. Eshraghian, Kyoung-Rok Cho외 1명|arXiv (Cornell University)|2021. 02. 07.

Advanced Memory and Neural Computing참고 문헌 25인용 수 4

한 줄 요약

CrossStack는 3차원 재구성 가능한 RRAM 크로스바 인fer 엔진을 제안하며, 두 가지 모드에서 작동한다: 확장 모드에서는 입력 해상도를 두 배로 늘리고 IR 내내를 22% 감소시키며, 딥넷 모드에서는 파ip린드된 읽기/쓰기 연산을 통해 10비트 컨볼루션 당 추론 속도를 29% 향상시킨다. 이 설계는 CMOS-memristor 하이브리드 셀을 사용하여 독서 활성화 신호를 통해 모드 제어를 수행하는 Al/TiO₂/TiO₂₋ₓ/Al 메모리스터를 사용한다.

ABSTRACT

Deep neural network inference accelerators are rapidly growing in importance as we turn to massively parallelized processing beyond GPUs and ASICs. The dominant operation in feedforward inference is the multiply-and-accumlate process, where each column in a crossbar generates the current response of a single neuron. As a result, memristor crossbar arrays parallelize inference and image processing tasks very efficiently. In this brief, we present a 3-D active memristor crossbar array `CrossStack', which adopts stacked pairs of Al/TiO2/TiO2-x/Al devices with common middle electrodes. By designing CMOS-memristor hybrid cells used in the layout of the array, CrossStack can operate in one of two user-configurable modes as a reconfigurable inference engine: 1) expansion mode and 2) deep-net mode. In expansion mode, the resolution of the network is doubled by increasing the number of inputs for a given chip area, reducing IR drop by 22%. In deep-net mode, inference speed per-10-bit convolution is improved by 29\% by simultaneously using one TiO2/TiO2-x layer for read processes, and the other for write processes. We experimentally verify both modes on our $10 imes10 imes2$ array.

연구 동기 및 목표

• GPU와 ASIC을 초월한 깊은 신경망 추론을 위한 고처리량, 재구성 가능한 하드웨어 가속기의 증가하는 수요를 해결하기 위해.
• 기존 3D RRAM 어레이는 주로 디지털 메모리에 국한되어 있으며 변화하는 신경망 아키텍처에 대한 적응성이 부족한 점을 극복하기 위해.
• 디자인 사이클 없이도 새로운 네트워크 토폴로지에 동적으로 적응할 수 있도록 하드웨어 재구성 가능성을 제공하기 위해.
• 이중 작동 모드를 가진 혁신적인 3차원 메모리스터 크로스바 아키텍처를 통해 IR 내내를 줄이고 추론 속도를 향상시키기 위해.
• CMOS-하이브리드 셀 설계를 사용한 3차원 스택형 RRAM 어레이에서 파이프라인 읽기 및 쓰기 연산의 실험적 타당성을 입증하기 위해.

제안 방법

• CrossStack 아키텍처는 공유된 중간 전극을 통해 이중층 작동을 가능하게 하는 Al/TiO₂/TiO₂₋ₓ/Al 메모리스터 크로스바의 3차원 스택된 쌍을 사용한다.
• 독서 활성화(RE) 신호를 통해 모드 선택을 제어하는 CMOS-memristor 하이브리드 셀을 활용한다: 고수준의 RE는 확장 모드, 저수준의 RE는 딥넷 모드를 의미한다.
• 확장 모드에서는 양층이 동일한 컬럼 전류에 기여하여 컬럼당 입력 수를 두 배로 늘리고 배선 저항을 절반으로 줄인다.
• 딥넷 모드에서는 한 층은 읽기 연산에, 다른 층은 쓰기 연산에 사용되어 파이프라인 처리를 가능하게 한다.
• 이 설계는 키르히호프의 전류 법칙과 옴의 법칙을 활용하여 도전도 가중 전류 합산을 통해 아날로그 행렬-벡터 곱셈을 수행한다: i = V^i G.
• 시스템은 SK Hynix 180nm CMOS 공정에서 제작된 10×10×2 어레이를 사용하며, 각 층에 독립적으로 제어 가능한 CMOS 회로를 갖춘다.

실험 결과

연구 질문

• RQ1 3차원 스택형 RRAM 크로스바 아키텍처가 두 가지 다른 추론 모드를 지원하도록 재구성 가능할 수 있는가? 성능 향상과 확장성 향상에 기여하는가?
• RQ2 칩 면적을 증가시키지 않고도 고밀도 크로스바 어레이에서 IR 내내를 어떻게 줄일 수 있는가?
• RQ3 3D RRAM 어레이에서 파이프라인 읽기 및 쓰기 연산이 추론 처리량에 얼마나 기여하는가?
• RQ4 재구성 가능한 크로스바에서 아날로그 추론을 위해 단일 비트 메모리스터를 사용할 경우 성능 및 신뢰성의 상호 교환 관계는 어떠한가?
• RQ5 3차원 메모리스터 스택에서 공유된 중간 전극의 사용이 신호 정합성과 전력 효율성에 어떤 영향을 미치는가?

주요 결과

• 확장 모드에서는 컬럼당 입력 수가 두 배로 증가하여, 동일한 2D 어레이 대비 IR 내내가 22% 감소한다.
• 딥넷 모드에서는 두 개의 분리된 층을 통해 동시에 읽기 및 쓰기 연산이 가능해져 10비트 컨볼루션 당 추론 속도가 29% 향상된다.
• 순시 분석 결과 이상치 전류 편차는 최대 8%로 나타나, 기기 변동성으로 인해 약 3.5비트가 메모리스터당 실용적 한계로 간주됨을 시사한다.
• 10ns의 읽기 시간은 보수적인 1비트/셀 케이스에서 25ns의 프로그래밍 시간 내에 포함되어 있어, 현장 내 파이프라인의 효과성을 확인한다.
• 작동 전압이 높을 경우(3V 이상) 누설 전류와 비선형성이 관찰되었지만, 설계에서의 임계 이하 누설은 최소한이었다.
• 용량 결합 및 열 방출은 여전히 3차원 통합에서 도전 과제로 남아 있으나, 더 넓은 금속층 간격이 결합 위험을 완화하는 데 기여한다.