[논문 리뷰] Using the IBM Analog In-Memory Hardware Acceleration Kit for Neural Network Training and Inference

Manuel Le Gallo, Corey Lammie외 9명|arXiv (Cornell University)|2023. 07. 18.

Neural Networks and ApplicationsComputer Science참고 문헌 70인용 수 3

한 줄 요약

이 논문은 딥 뉴럴 네트워크(DNN) 학습 및 추론을 위한 유연한 애날로그 내장 계산(AIMC) 하드웨어 정확한 모델링을 가능하게 하는 파이썬 기반 시뮬레이션 툴킷인 IBM AIHWKit을 제시한다. 이 툴킷은 노이즈와 변동성과 같은 장치 비이상성을 파이토치 유사 워크플로우에 통합하여 연구자들이 현실적인 AIMC 조건에서 DNN을 학습하고 평가할 수 있도록 한다. 주요 기여 사항으로는 하드웨어 인지 학습, 사용자 정의 가능한 시뮬레이션 컴포넌트, 그리고 관리형 클라우드 플랫폼(Analog AI Cloud Composer)과의 통합이 포함된다.

ABSTRACT

Analog In-Memory Computing (AIMC) is a promising approach to reduce the latency and energy consumption of Deep Neural Network (DNN) inference and training. However, the noisy and non-linear device characteristics, and the non-ideal peripheral circuitry in AIMC chips, require adapting DNNs to be deployed on such hardware to achieve equivalent accuracy to digital computing. In this tutorial, we provide a deep dive into how such adaptations can be achieved and evaluated using the recently released IBM Analog Hardware Acceleration Kit (AIHWKit), freely available at https://github.com/IBM/aihwkit. The AIHWKit is a Python library that simulates inference and training of DNNs using AIMC. We present an in-depth description of the AIHWKit design, functionality, and best practices to properly perform inference and training. We also present an overview of the Analog AI Cloud Composer, a platform that provides the benefits of using the AIHWKit simulation in a fully managed cloud setting along with physical AIMC hardware access, freely available at https://aihw-composer.draco.res.ibm.com. Finally, we show examples on how users can expand and customize AIHWKit for their own needs. This tutorial is accompanied by comprehensive Jupyter Notebook code examples that can be run using AIHWKit, which can be downloaded from https://github.com/IBM/aihwkit/tree/master/notebooks/tutorial.

연구 동기 및 목표

• 장치 노이즈, 비선형성, 회로 비이상성 등으로 인해 성능이 떨어지는 애날로그 내장 계산(AIMC) 하드웨어에 DNN를 구현하는 데 도전하는 것.
• 고수준 딥 러닝 프레임워크와 정확한 AIMC 장치 및 보조 회로의 물리적 모델을 연결하는 소프트웨어 툴킷을 제공하는 것.
• 실제 칩이나 저수준 회로 시뮬레이터에 접근할 필요 없이 연구자들이 AIMC 하드웨어를 위한 DNN의 시뮬레이션과 최적화를 수행할 수 있도록 하는 것.
• 사용자 정의 가능한 시뮬레이션 컴포넌트와 클라우드 기반 물리적 하드웨어 접근과의 통합을 통해 하드웨어 인지 학습 알고리즘의 개발을 촉진하는 것.
• 잘 유지보수되는 오픈소스 툴킷에 기여를 장려함으로써 AIMC 연구 분야의 도구 분열 문제를 줄이고 연구 진전을 가속화하는 것.

제안 방법

• 비휘류성 메모리(NVM) 장치, 예를 들어 PCM, ReRAM, MRAM의 물리적 거동을 크로스바 어레이에서 모델링하는 AIHWKit 내 시뮬레이션 프레임워크를 구현한다.
• 장치 간 변동성, 사이클 간 변동성, 랜덤 텔레그래프 노이즈(RTN), 도전도 비선형성 등 장치 수준의 비이상성을 시뮬레이션 파이프라인에 통합한다.
• 가변 해상도와 비이상성을 갖춘 아날로그-디지털(ADC) 및 디지털-아날로그(DAC) 변환 모델링을 통해 혼합 정밀도 학습 및 추론을 지원한다.
• 동적 기준 스케일링을 갖춘 아날로그 기반 기울기 누적(AGAD)과 아날로그 가중치 업데이트를 지원하는 확률적 경사 하강법(SGD)을 통해 하드웨어 인지 학습(HWA)을 구현한다.
• 사용자가 AnalogTile나 InferenceTile와 같은 핵심 컴포넌트를 오버라이드하여 功能을 확장하고, 사용자 정의 보조 논리 회로를 통합할 수 있는 모듈식 소프트웨어 아키텍처를 제공한다.
• Analog AI Cloud Composer라는 관리형 클라우드 플랫폼과 통합하여 시뮬레이션 및 물리적 AIMC 하드웨어에 대한 액세스를 제공함으로써 종단 간 평가를 가능하게 한다.

Figure 1: (a), Illustration of a potential AIMC chip. (b) AIMC devices implemented in AIHWKit and their properties.

실험 결과

연구 질문

• RQ1 장치 및 회로 비이상성을 고려할 때, 어떻게 애날로그 내장 계산 하드웨어에서 DNN을 효과적으로 학습하고 추론할 수 있는가?
• RQ2 저항성 메모리 장치의 노이즈가 많고 비선형적인 특성 하에서 DNN 정확도를 유지할 수 있는 핵심 하드웨어 인지 학습 전략은 무엇인가?
• RQ3 SPICE 수준의 시뮬레이션 없이도 고수준 DNN 프레임워크 통합과 저수준 하드웨어 모델링을 동시에 지원할 수 있는 시뮬레이션 툴킷(AIHWKit 등)은 어떻게 아키텍처화되어야 하는가?
• RQ4 AIMC 기반 추론에서 다양한 정밀도 및 양자화 기법(예: 비트 슬라이싱, 혼합 정밀도)의 성능 및 정확도 간 상호 교환 관계는 어떠한가?
• RQ5 커뮤니티 기반 오픈소스 개발을 통해 시뮬레이션 툴킷이 분열을 줄이고 애널로그 AI 하드웨어 연구의 진전을 가속화할 수 있는 방법은 무엇인가?

주요 결과

• AIHWKit은 RTN, 도전도 비선형성, ADC/DAC 양자화 등 현실적인 장치 비이상성을 반영하여 AIMC 하드웨어에서 DNN 추론 및 학습의 정확한 시뮬레이션을 가능하게 한다.
• 동적 기준 스케일링을 갖춘 아날로그 기반 기울기 누적(AGAD)을 통한 하드웨어 인지 학습은 심한 장치 변동성 하에서도 디지털 학습과 비교해 유사한 DNN 정확도를 유지한다.
• 사용자 정의 가능한 ADC/DAC 해상도를 지원함으로써 혼합 정밀도 추론 및 학습을 가능하게 하여 연구자들이 저정밀도 산술이 모델 성능에 미치는 영향을 평가할 수 있도록 한다.
• Analog AI Cloud Composer는 시뮬레이션 및 물리적 AIMC 하드웨어에 대한 원활한 액세스를 제공하여 클라우드 기반 환경에서 종단 간 DNN 평가를 가능하게 한다.
• 새로운 보조 기능 또는 최적화 알고리즘 등 AIHWKit의 커스터마이제이션은 풀 리퀘스트를 통해 기여될 수 있으며, 이는 장기적인 유지보수성과 커뮤니티 수용을 보장한다.
• 이 툴킷은 다양한 아키텍처와 장치 파rameter를 기반으로 DNN의 시뮬레이션 및 평가에 성공적으로 활용되었으며, 여러 연구에서 결과가 발표된 바 있다(예: [75, 76, 61, 22]).

Figure 2: (a) Mapping of a neural network to an AIMC chip. (b) Implementation of in-memory SGD weight update. (c) Implementation of TTv2 weight update. (d) Implementation of mixed-precision weight update.