[논문 리뷰] 3D-aCortex: An Ultra-Compact Energy-Efficient Neurocomputing Platform Based on Commercial 3D-NAND Flash Memories

Mohammad Bavandpour, Shubham Sahay외 2명|arXiv (Cornell University)|2019. 08. 07.

Advanced Memory and Neural Computing인용 수 5

한 줄 요약

이 논문은 기존의 64층 3D-NAND 기술을 수정 없이 사용하여 시간 도메인으로 인코딩된 벡터-행렬 곱셈(VMM)을 통해 메모리 내 연산을 구현하는 초소형이고 에너지 효율적인 뉴로모픽 추론 프로세서인 3D-aCortex를 제안한다. 이는 약 10 fJ/Op의 비례 없는 에너지 효율성과 4.34 MB/mm²의 저장 밀도를 달성하며, 수정이 없는 기존 64층 3D-NAND 기술을 사용하여 최대 70.43 TOps/J의 에너지 효율성과 10.66 TOps/s의 처리 속도를 구현한다.

ABSTRACT

The first contribution of this paper is the development of extremely dense, energy-efficient mixed-signal vector-by-matrix-multiplication (VMM) circuits based on the existing 3D-NAND flash memory blocks, without any need for their modification. Such compatibility is achieved using time-domain-encoded VMM design. Our detailed simulations have shown that, for example, the 5-bit VMM of 200-element vectors, using the commercially available 64-layer gate-all-around macaroni-type 3D-NAND memory blocks designed in the 55-nm technology node, may provide an unprecedented area efficiency of 0.14 um2/byte and energy efficiency of ~10 fJ/Op, including the input/output and other peripheral circuitry overheads. Our second major contribution is the development of 3D-aCortex, a multi-purpose neuromorphic inference processor that utilizes the proposed 3D-VMM blocks as its core processing units. We have performed rigorous performance simulations of such a processor on both circuit and system levels, taking into account non-idealities such as drain-induced barrier lowering, capacitive coupling, charge injection, parasitics, process variations, and noise. Our modeling of the 3D-aCortex performing several state-of-the-art neuromorphic-network benchmarks has shown that it may provide the record-breaking storage efficiency of 4.34 MB/mm2, the peak energy efficiency of 70.43 TOps/J, and the computational throughput up to 10.66 TOps/s. The storage efficiency can be further improved seven-fold by aggressively sharing VMM peripheral circuits at the cost of slight decrease in energy efficiency and throughput.

연구 동기 및 목표

• 기존 상용 3D-NAND 플래시 메모리에 하드웨어 수정 없이 고도로 에너지 효율적이고 컴팩트한 뉴로컴퓨팅 플랫폼을 설계하는 것.
• 3D-NAND 플래시 블록에서 시간 도메인 인코딩을 사용하여 벡터-행렬 곱셈(VMM)의 극한의 면적 및 에너지 효율성을 달성하는 것.
• 비효율적 장치 효과를 고려하면서도 고처리량과 고저장 밀도를 구현할 수 있는 다기능 뉴로모픽 추론 프로세서인 3D-aCortex를 개발하는 것.
• 공정 변동, 노이즈, 부가적 회로 등 실제 비이상적 조건에서의 시스템 수준 성능을 평가하는 것.
• 소형이고 확장 가능한 뉴로모픽 아키텍처에서 기록적인 에너지 효율성과 저장 밀도를 입증하는 것.

제안 방법

• 시간 도메인으로 인코딩된 VMM을 사용하여 기존 3D-NAND 플래시 블록에 대한 구조적 변경 없이 혼합 신호 연산을 가능하게 한다.
• 64층 게이트-올-어라운드 매크로니 타입 3D-NAND 플래시 블록을 55-nm 공정 노드에서 제작하여 VMM 회로를 구현한다.
• 드레인 유도 장벽 강하, 커패시티브 커플링, 전하 주입, 공정 변동 등의 비이상적 장치 효과를 회로 수준과 시스템 수준에서 모델링하고 시뮬레이션한다.
• 3D-VMM 블록을 핵심 처리 단위로 사용하는 다코어 뉴로모픽 프로세서 아키텍처인 3D-aCortex를 설계하여 추론 워크로드를 지원한다.
• 소량의 처리량 및 에너지 효율성의 희생을 감수하면서도 저장 효율성을 향상시키기 위해 주변 회로 공유 전략을 탐색한다.
• 성능, 에너지 효율성, 면적 효율성 평가를 위해 다수의 벤치마크에서 종합적인 시뮬레이션을 수행한다.

실험 결과

연구 질문

• RQ1 기존 상용 3D-NAND 플래시 메모리에 대해 기구적 변경 없이 메모리 내 벡터-행렬 곱셈을 효율적으로 구현할 수 있는가?
• RQ2 시간 도메인으로 인코딩된 VMM을 사용하여 3D-NAND 플래시에서 뉴로모픽 추론을 위한 에너지 및 면적 효율성은 어느 정도 달성할 수 있는가?
• RQ3 3D-aCortex는 공정 변동, 노이즈, 부가적 회로 등의 실제 비이상적 조건에서 어떻게 성능을 발휘하는가?
• RQ4 3D-NAND 기반 뉴로모픽 프로세서의 기대 가능한 저장 밀도와 계산 처리 속도는 얼마인가?
• RQ5 주변 회로 공유 전략이 핵심 성능 지표를 떨어뜨리지 않고 저장 효율을 크게 향상시킬 수 있는가?

주요 결과

• 제안된 3D-VMM은 I/O 및 주변 회로 오버헤드를 포함하여 면적 효율성이 0.14 µm²/byte, 에너지 효율성이 약 10 fJ/Op를 달성한다.
• 3D-aCortex는 64층 3D-NAND 플래시 메모리 블록을 사용하여 기록적인 저장 효율성 4.34 MB/mm²를 달성한다.
• 프로세서는 최대 70.43 TOps/J의 에너지 효율성과 최대 10.66 TOps/s의 계산 처리 속도를 보여준다.
• VMM 주변 회로의 공격적 공유 전략은 저장 효율성을 최대 7배 향상시키지만, 약간의 에너지 효율성 및 처리량 감소를 동반한다.
• 시뮬레이션 결과는 실제 비이상적 조건에서 최신 뉴로모픽 네트워크 벤치마크 전반에서 뛰어난 성능을 유지함을 확인한다.
• 이 설계는 기존 상용 3D-NAND 플래시 기술과 완전히 호환되어 즉각적인 확장성과 통합이 가능하다.