[논문 리뷰] ALPINE: Analog In-Memory Acceleration with Tight Processor Integration for Deep Learning

Joshua Klein, Irem Boybat외 7명|arXiv (Cornell University)|2022. 05. 20.

Advanced Memory and Neural Computing인용 수 4

한 줄 요약

이 논문은 딥러닝 추론을 위한 다중 코어 ARM CPU와 아날로그 인메모리 컴퓨팅(AIMC) 가속기를 밀접하게 통합할 수 있는 풀시스템 시뮬레이션 프레임워크인 ALPINE를 제안한다. gem5에 맞춤형 ARMv8 명령어 세트와 소프트웨어 라이브러리(AIMCLib)를 확장함으로써, ALPINE는 CNN, MLP, LSTMs에 대해 SIMD 기반 디지털 CPU 대비 최대 20.5배의 성능 향상과 20.8배의 에너지 절감을 달성한다. 이는 하드웨어-소프트웨어 공동 설계가 모델 특화 가속기 없이도 AI 워크로드에서 고성능과 고효율을 실현할 수 있음을 보여준다.

ABSTRACT

Analog in-memory computing (AIMC) cores offers significant performance and energy benefits for neural network inference with respect to digital logic (e.g., CPUs). AIMCs accelerate matrix-vector multiplications, which dominate these applications' run-time. However, AIMC-centric platforms lack the flexibility of general-purpose systems, as they often have hard-coded data flows and can only support a limited set of processing functions. With the goal of bridging this gap in flexibility, we present a novel system architecture that tightly integrates analog in-memory computing accelerators into multi-core CPUs in general-purpose systems. We developed a powerful gem5-based full system-level simulation framework into the gem5-X simulator, ALPINE, which enables an in-depth characterization of the proposed architecture. ALPINE allows the simulation of the entire computer architecture stack from major hardware components to their interactions with the Linux OS. Within ALPINE, we have defined a custom ISA extension and a software library to facilitate the deployment of inference models. We showcase and analyze a variety of mappings of different neural network types, and demonstrate up to 20.5x/20.8x performance/energy gains with respect to a SIMD-enabled ARM CPU implementation for convolutional neural networks, multi-layer perceptrons, and recurrent neural networks.

연구 동기 및 목표

• 다양한 신경망 유형, 동적 데이터 플로우, 다양한 정밀도 포맷을 지원하지 못하는 독립형 아날로그 인메모리 컴퓨팅(AIMC) 가속기의 유연성 부족 문제를 해결하기 위해.
• AIMC의 고성능과 일반 목적 CPU의 프로그래머블성 간 격차를 메우기 위해 하드웨어-소프트웨어 공동 설계를 통해 밀접한 통합을 가능하게 하기 위해.
• AIMC 타일, CPU, 메모리, Linux 운영체제 간의 복잡한 상호작용을 정확하게 모델링할 수 있는 검증된 풀스택 시뮬레이션 프레임워크를 개발하기 위해.
• 경량 ISA 확장과 전용 소프트웨어 라이브러리를 통해 다양한 DNN—예: CNN, MLP, LSTMs—을 하이브리드 CPU-AIMC 아키텍처에 효율적으로 구현할 수 있도록 하기 위해.
• 새로운 모델마다 전용 가속기를 요구하지 않으면서도, AIMC를 밀착 통합함으로써 성능과 에너지 효율성 향상을 크게 달성할 수 있음을 입증하기 위해.

제안 방법

• ARMv8 기반 시스템에 여러 개의 AIMC 타일을 밀착된 가속기로 통합한 환경을 모델링하기 위해 gem5-X 시뮬레이터에 풀시스템 시뮬레이션 프레임워크를 확장하였다.
• AIMC 타일의 운영을 직접 제어할 수 있도록 맞춤형 ARMv8 64비트 명령어 세트 확장을 설계하고 구현하였다. 이를 통해 CPU 기반 활성화 및 데이터 전송이 가능해졌다.
• 저수준 AIMC 운영을 추상화하기 위해 소프트웨어 라이브러리(AIMCLib)를 개발하여 하이브리드 아키텍처에서 DNN 추론 워크로드 배포를 단순화하였다.
• 다양한 DNN—CNN(빠른/중간/느린 버전), MLP, LSTMs—을 하이브리드 시스템에 매핑하였으며, 세분화된 파ip라인 처리와 병렬 처리를 통한 컨볼루션 레이어의 선택적 가속을 적용하였다.
• 핵심 연산을 효율적으로 수행하기 위해 커널과 특징 맵을 평탄화하고, AIMC 타일의 열에 저장함으로써 데이터 플로우 최적화를 구현하였다.
• 저전력 및 고전력 설정에서의 시스템 수준 시뮬레이션을 수행하여 실제 워크로드 조건 하에서 성능, 에너지 소비, CPU 활용도를 평가하였다.

실험 결과

연구 질문

• RQ1 일반 목적 CPU와 아날로그 인메모리 컴퓨팅(AIMC) 타일을 밀착 통합함으로써 다양한 DNN 워크로드에서 뚜렷한 성능 향상과 에너지 절감을 달성할 수 있는가?
• RQ2 맞춤형 ISA 확장과 소프트웨어 라이브러리의 추가가 풀시스템 시뮬레이션 환경에서 AIMC 가속기의 프로그래머블성과 배포 효율성에 어떤 영향을 미치는가?
• RQ3 완전히 디지털 SIMD 최적화된 CPU 대비, AIMC 가속화가 CNN, MLP, LSTMs에서 데이터 이동을 얼마나 줄이고 계산 효율성을 얼마나 향상시킬 수 있는가?
• RQ4 특정 레이어(예: 컨볼루션 레이어)만 AIMC로 가속화하고 나머지는 CPU에서 처리할 경우, 성능와 에너지 소비 간의 상호 교환 관계는 어떠한가?
• RQ5 파이ipel라인 DNN 추론 워크로드에서 CPU 코어의 불균형 활용과 통신 병목 현상을 시스템은 어떻게 처리하는가?

주요 결과

• ALPINE 프레임워크는 운영체제, 메모리, 맞춤형 하드웨어 구성 요소 간의 상호작용까지 포함한 하이브리드 CPU-AIMC 아키텍처의 풀시스템 시뮬레이션을 성공적으로 지원한다.
• 가장 큰 CNN 버전(CNN-S)에 대해, SIMD 기반 ARM CPU 대비 최대 20.5배의 성능 향상과 20.8배의 에너지 절감을 달성하였다.
• 컨볼루션 레이어 2와 3에서는 AIMC 타일 가속화로 인해 CPU 대기 사이클이 최대 4배 감소하고, 지시어당 명령어 실행 수(IPC)가 최대 3배 증가하였다.
• 완전 연결 레이어는 가장 높은 CPU 대기 시간을 보였으며, 이는 병목 현상이 레이어 간에 이동하며 데이터 플로우 및 메모리 액세스 패턴 최적화가 추가로 필요함을 시사한다.
• 성능 향상은 CNN 이외에도 MLP와 LSTMs 등 다양한 DNN 유형에 걸쳐 일관되게 나타나, 이 프레임워크가 다양한 신경망 워크로드를 지원하는 데 있어 뛰어난 유연성을 보였다.
• 결과적으로, 맞춤형 명령어와 소프트웨어 추상화를 통해 CPU와 AIMC를 밀착 통합함으로써 고효율을 달성할 수 있으며, 이는 모델 특화 가속기 설계 없이도 유연성을 유지할 수 있음을 검증하였다.