[논문 리뷰] Edge AI without Compromise: Efficient, Versatile and Accurate Neurocomputing in Resistive Random-Access Memory

Weier Wan, Rajkumar Kubendran외 12명|arXiv (Cornell University)|2021. 08. 17.

Advanced Memory and Neural Computing참고 문헌 52인용 수 11

한 줄 요약

이 논문은 다중 모odal 엣지 AI 워크로드를 위한 고에너지 효율성, 유연성, 정확도를 동시에 달성하는 최초의 저항성 램(RRAM)-기반 계산-메모리 통합 칩인 NeuRRAM을 제시한다. 알고리즘, 아키텍처, 회로, 소자 수준에서의 공동 최적화를 통해, 다양한 비트 정밀도에서 이전 기술 대비 5×–8× 높은 에너지 효율성을 확보하면서도, MNIST에서 99.0%, CIFAR-10에서 85.7%의 소프트웨어 수준 정확도를 유지를 달성하였다.

ABSTRACT

Realizing today's cloud-level artificial intelligence functionalities directly on devices distributed at the edge of the internet calls for edge hardware capable of processing multiple modalities of sensory data (e.g. video, audio) at unprecedented energy-efficiency. AI hardware architectures today cannot meet the demand due to a fundamental "memory wall": data movement between separate compute and memory units consumes large energy and incurs long latency. Resistive random-access memory (RRAM) based compute-in-memory (CIM) architectures promise to bring orders of magnitude energy-efficiency improvement by performing computation directly within memory. However, conventional approaches to CIM hardware design limit its functional flexibility necessary for processing diverse AI workloads, and must overcome hardware imperfections that degrade inference accuracy. Such trade-offs between efficiency, versatility and accuracy cannot be addressed by isolated improvements on any single level of the design. By co-optimizing across all hierarchies of the design from algorithms and architecture to circuits and devices, we present NeuRRAM - the first multimodal edge AI chip using RRAM CIM to simultaneously deliver a high degree of versatility for diverse model architectures, record energy-efficiency $5 imes$ - $8 imes$ better than prior art across various computational bit-precisions, and inference accuracy comparable to software models with 4-bit weights on all measured standard AI benchmarks including accuracy of 99.0% on MNIST and 85.7% on CIFAR-10 image classification, 84.7% accuracy on Google speech command recognition, and a 70% reduction in image reconstruction error on a Bayesian image recovery task. This work paves a way towards building highly efficient and reconfigurable edge AI hardware platforms for the more demanding and heterogeneous AI applications of the future.

연구 동기 및 목표

• 저항성 램(RRAM)을 사용하여 메모리 내에서 계산을 수행함으로써 엣지 AI 하드웨어의 에너지 효율성을 제한하는 근본적인 '메모리 월' 문제를 해결한다.
• 기존의 계산-메모리 통합(CIM) 아키텍처에서 효율성, 유연성, 정확도 사이의 상충 관계를 극복한다.
• 단일 재구성 가능한 하드웨어 플랫폼에서 다양한 AI 워크로드—이미지, 음성, 베이지안 복원—에 대한 고성능 추론을 가능하게 한다.
• RRAM 소자에 내재된 하드웨어 결함에도 불구하고 소프트웨어 수준의 정확도를 유지할 수 있도록 한다.
• 알고리즘, 아키텍처, 회로, 소자 수준에서의 공동 설계 방법론을 도입하여 엣지 AI 시스템의 통합 최적화를 실현한다.

제안 방법

• 메모리 내에서 직접 행렬-벡터 곱셈을 수행하기 위해 RRAM 크로스바 어레이를 사용하는 계산-메모리(CIM) 아키텍처를 개발하여 외부 메모리 데이터 이동을 제거한다.
• 다양한 모델의 정확도와 에너지 효율성의 균형을 맞추기 위해 4비트, 8비트, 16비트 가중치를 지원하는 하이브리드 정밀도 처리 기법을 구현한다.
• 저항도 변화 및 변동성과 같은 RRAM 소자의 비이상적 특성을 보완하기 위해 다수준 校정 및 오차 보상 프레임워크를 설계한다.
• 다양한 AI 모델 유형과 입력 모odal리티 간의 동적 전환을 지원하기 위해 재구성 가능한 제어 논리와 내장 메모리 관리 기능을 통합한다.
• 계층적 공동 설계 접근법을 적용: 신경망 양자화, 메모리 어레이 레이아웃, 아날로그 회로 설계, 소자 특성을 동시에 최적화한다.
• 아날로그 계산 노이즈에도 불구하고 높은 추론 정확도를 유지하기 위해 고유의 아날로그-디지털 변환(ADC) 및 디지털 신호 처리 파이프라인을 활용한다.

실험 결과

연구 질문

• RQ1 단일 RRAM 기반 CIM 아키텍처가 다양한 AI 워크로드에서 고에너지 효율성, 기능적 유연성, 고정확도를 동시에 달성할 수 있는가?
• RQ2 RRAM 소자에 내재된 하드웨어 결함은 어떻게 효과적으로 보완할 수 있으며, 이를 통해 엣지 AI 추론에서 모델 정확도를 유지할 수 있는가?
• RQ3 알고리즘, 아키텍처, 회로, 소자 수준에서의 공동 설계가 효율성, 유연성, 정확도 간의 상충 관계를 어느 정도 제거할 수 있는가?
• RQ4 기본 소프트웨어 기반 AI 모델과 RRAM 기반 하드웨어 추론 간의 성능 격차는 표준 벤치마크에서 얼마나 되는가?
• RQ5 재구성 가능한 RRAM CIM 칩이 성능 저하 없이 다중 모달 AI 작업—이미지 분류, 음성 인식, 베이지안 이미지 복원—을 모두 지원할 수 있는가?

주요 결과

• NeuRRAM은 4비트, 8비트, 16비트 추론 작업 전반에서 이전 기술 대비 5×–8× 높은 에너지 효율성을 확보하여 기존의 CIM 솔루션을 크게 앞서며 성능을 뛰어나게 한다.
• MNIST 이미지 분류 벤치마크에서 99.0%의 정확도를 달성했으며, CIFAR-10에서는 85.7%의 정확도를 기록하여 정밀도가 높은 소프트웨어 모델과 동등한 성능을 보였다.
• Google의 음성 명령 인식 작업에서 NeuRRAM은 84.7%의 정확도를 확보하여 다양한 모달리티에서의 강건성을 입증하였다.
• 베이지안 이미지 복원 작업에서는 기존 기반 방법 대비 이미지 복원 오차를 70% 감소시켜 생성 및 역문제에서 뛰어난 성능을 보였다.
• 효율적인 오차 보상 및 校정 기법 덕분에 모든 테스트 비트 정밀도에서 높은 정확도를 유지하였다.
• 공동 설계 프레임워크 덕분에 다양한 AI 모델과 입력 유형 간의 원활한 재구성이 가능하여, 이질적인 엣지 AI 워크로드에 대한 칩의 유연성을 입증하였다.