[논문 리뷰] DNN+NeuroSim V2.0: An End-to-End Benchmarking Framework for Compute-in-Memory Accelerators for On-chip Training

Xiaochen Peng, Shanshi Huang외 3명|arXiv (Cornell University)|2020. 03. 13.

Advanced Memory and Neural Computing참고 문헌 21인용 수 7

한 줄 요약

DNN+NeuroSim V2.0은 컴퓨팅-인-메모리(CIM) 가속기의 차세대 온칩 학습을 위한 종단 간 벤치마킹 프레임워크로, 파이토치와 NeuroSim을 통합하여 SRAM 및 eNVM 장치의 비이상적 장치 행동(비선형성, 비대칭성, 변동성 포함)을 모델링한다. VGG-8과 CIFAR-10을 대상으로 정확도, 에너지 효율성, 처리량, 면적을 정확하게 평가하여 실현 가능한 온칩 학습을 위한 핵심 장치 사양을 규명한다.

ABSTRACT

DNN+NeuroSim is an integrated framework to benchmark compute-in-memory (CIM) accelerators for deep neural networks, with hierarchical design options from device-level, to circuit-level and up to algorithm-level. A python wrapper is developed to interface NeuroSim with a popular machine learning platform: Pytorch, to support flexible network structures. The framework provides automatic algorithm-to-hardware mapping, and evaluates chip-level area, energy efficiency and throughput for training or inference, as well as training/inference accuracy with hardware constraints. Our prior work (DNN+NeuroSim V1.1) was developed to estimate the impact of reliability in synaptic devices, and analog-to-digital converter (ADC) quantization loss on the accuracy and hardware performance of inference engines. In this work, we further investigated the impact of the analog emerging non-volatile memory non-ideal device properties for on-chip training. By introducing the nonlinearity, asymmetry, device-to-device and cycle-to-cycle variation of weight update into the python wrapper, and peripheral circuits for error/weight gradient computation in NeuroSim core, we benchmarked CIM accelerators based on state-of-the-art SRAM and eNVM devices for VGG-8 on CIFAR-10 dataset, revealing the crucial specs of synaptic devices for on-chip training. The proposed DNN+NeuroSim V2.0 framework is available on GitHub.

연구 동기 및 목표

• 컴puting-in-memory(CIM) 가속기의 정확하고 종단 간 벤치마킹을 가능하게 하여 온칩 딥 뉴럴 네트워크(DNN) 학습을 지원한다.
• 신제품 비휘발성 메모리(eNVM) 및 SRAM 기반의 CIM 아키텍처에서 가중치 업데이트 과정에서 발생하는 비이상적 장치 행동(비선형성, 비대칭성, 장치 간 변동성 등)에 대한 종합적인 모델링 부족 문제를 해결한다.
• 유연한 네트워크 아키텍처 지원과 자동 알고리즘-하드웨어 매핑을 위해 파이썬 래퍼를 파이토치와 통합한다.
• 면적, 에너지 효율성, 처리량, 학습 정확도 등의 칩 수준 성능 지표를 하드웨어 제약 조건 하에서 평가한다.
• 최신 SRAM 및 eNVM 기술을 활용한 실현 가능한 온칩 DNN 학습을 가능하게 하는 핵심 장치 수준 사양을 규명한다.

제안 방법

• 파이토치와 NeuroSim을 연결하기 위한 파이썬 래퍼를 개발하여 동적이고 융통성 있는 DNN 모델 통합을 가능하게 하였다.
• NeuroSim의 핵심 기능을 확장하여, 가중치 업데이트 동안 비선형성, 비대칭성, 사이클 간 변동성 등 비이상적 시냅스 장치 행동을 모델링하였다.
• CIM 아키텍처에서의 학습 동역학을 시뮬레이션하기 위해 오차 및 기울기 계산을 위한 보조 회로를 통합하였다.
• DNN 레이어를 CIM 하드웨어 구성으로 자동 매핑할 수 있도록 자동 알고리즘-하드웨어 매핑 기능을 구현하였다.
• 이전 버전에서의 ADC 양자화 손실 모델링 및 신뢰성 영향을 통합하여 종합적인 학습 정확도 추정을 지원하였다.
• CIFAR-10 데이터셋을 사용하여 VGG-8에서 종단 간 시뮬레이션을 수행하여 성능 및 정확도 간 상충 관계를 평가하였다.

실험 결과

연구 질문

• RQ1 비선형성, 비대칭성, 변동성 등의 비이상적 장치 특성이 CIM 가속기에서 온칩 DNN 학습의 정확도와 수렴에 미치는 영향은 어떠한가?
• RQ2 정확하고 효율적인 온칩 학습을 가능하게 하는 SRAM 및 eNVM의 핵심 장치 수준 사양은 무엇인가?
• RQ3 기울기 및 오차 계산을 위한 보조 회로 통합이 CIM 가속기의 전체 학습 성능 및 에너지 효율성에 미치는 영향은 어떠한가?
• RQ4 ADC 양자화 및 장치 변동성이 CIM 기반 시스템에서 학습 정확도를 얼마나 악화시키는가?
• RQ5 SRAM 및 eNVM 기반의 다양한 CIM 아키텍처는 에너지 효율성, 처리량, 정확도 측면에서 온칩 학습에 대해 어떻게 비교되는가?

주요 결과

• 비선형성 및 비대칭성 등의 비이상적 장치 행동은 특히 eNVM 기반의 CIM 가속기에서 학습 정확도를 심각하게 떨어뜨린다.
• 가중치 업데이트 과정에서의 장치 간 변동성과 사이클 간 변동성이 심각한 성능 변동성을 유발하여, 보정 메커니즘이 없이선 온칩 학습의 실현 가능성이 제한된다.
• 이 프레임워크는 eNVM 장치가 CIFAR-10에서 VGG-8을 성공적으로 학습시키기 위해 비선형성과 비대칭성을 엄격히 제어해야 함을 드러냈다.
• SRAM 기반의 CIM 가속기는 eNVM 대비 장치 변동성에 더 강건한 반응을 보였지만, 면적과 에너지 오버헤드가 더 높았다.
• ADC 양자화 손실은 특히 저정밀도 학습 환경에서 정확도 저하의 주요 원인으로 남아 있다.
• 오차 및 기울기 계산을 위한 보조 회로 통합은 CIM에서 역전파를 정확하게 시뮬레이션할 수 있게 하여, 프레임워크가 실제 학습 동역학을 모델링할 수 있는 능력을 입증하였다.