[论文解读] ALPINE: Analog In-Memory Acceleration with Tight Processor Integration for Deep Learning

Joshua Klein, Irem Boybat+7 more|arXiv (Cornell University)|May 20, 2022

Advanced Memory and Neural Computing被引用 4

一句话总结

本文提出 ALPINE，一个全系统仿真框架，可实现模拟存内计算（AIMC）加速器与多核 ARM CPU 的紧密集成，用于深度学习推理。通过在 gem5 中扩展自定义 ARMv8 指令集并引入软件库（AIMCLib），ALPINE 相较于支持 SIMD 的数字 CPU，在卷积神经网络（CNNs）、多层感知机（MLPs）和长短期记忆网络（LSTMs）上实现了最高 20.5 倍的性能提升和 20.8 倍的能耗降低，证明了软硬件协同设计可在不牺牲灵活性的前提下，显著提升 AI 工作负载的性能与能效。

ABSTRACT

Analog in-memory computing (AIMC) cores offers significant performance and energy benefits for neural network inference with respect to digital logic (e.g., CPUs). AIMCs accelerate matrix-vector multiplications, which dominate these applications' run-time. However, AIMC-centric platforms lack the flexibility of general-purpose systems, as they often have hard-coded data flows and can only support a limited set of processing functions. With the goal of bridging this gap in flexibility, we present a novel system architecture that tightly integrates analog in-memory computing accelerators into multi-core CPUs in general-purpose systems. We developed a powerful gem5-based full system-level simulation framework into the gem5-X simulator, ALPINE, which enables an in-depth characterization of the proposed architecture. ALPINE allows the simulation of the entire computer architecture stack from major hardware components to their interactions with the Linux OS. Within ALPINE, we have defined a custom ISA extension and a software library to facilitate the deployment of inference models. We showcase and analyze a variety of mappings of different neural network types, and demonstrate up to 20.5x/20.8x performance/energy gains with respect to a SIMD-enabled ARM CPU implementation for convolutional neural networks, multi-layer perceptrons, and recurrent neural networks.

研究动机与目标

• 为解决独立模拟存内计算（AIMC）加速器在支持多种神经网络类型、动态数据流和不同精度格式方面的灵活性不足问题。
• 通过实现紧密的软硬件协同设计，弥合 AIMC 高性能与通用 CPU 可编程性之间的差距。
• 开发一个经过验证的全栈仿真框架，能够准确建模 AIMC 模块、CPU、内存和 Linux 操作系统之间的复杂交互，实现系统级准确评估。
• 通过轻量级指令集扩展和专用软件库，实现对多种 DNN（如 CNNs、MLPs 和 LSTMs）在混合 CPU-AIMC 架构上的高效部署。
• 证明通过紧密耦合的 AIMC 集成，可在不损害系统灵活性或为每种新模型配置专用加速器的前提下，显著提升性能与能效。

提出的方法

• 在 gem5-X 仿真器中扩展出全系统仿真框架，用于建模基于 ARMv8 的系统，并在其上集成多个作为紧密耦合加速器的 AIMC 模块。
• 设计并实现了自定义的 ARMv8 64 位指令集扩展，用于直接控制 AIMC 模块的操作，支持由 CPU 驱动的激活和数据传输。
• 开发了软件库（AIMCLib）以抽象底层 AIMC 操作，简化在混合架构上部署 DNN 推理工作负载的流程。
• 将多种 DNN（包括快速/中等/慢速变体的 CNNs、MLPs 和 LSTMs）映射到该混合系统，采用细粒度流水线和对卷积层的选择性加速。
• 通过展平卷积核和特征图，并将它们存储在 AIMC 模块的列中，实现高效的并行乘加（MAC）操作，从而实现数据流优化。
• 在低功耗和高功耗配置下进行系统级仿真，评估真实工作负载下的性能、能耗和 CPU 利用率。

实验结果

研究问题

• RQ1 将模拟存内计算（AIMC）模块与通用 CPU 紧密集成，是否能为多种 DNN 工作负载带来显著的性能和能耗提升？
• RQ2 在全系统仿真环境中，自定义指令集扩展和软件库的引入，对 AIMC 加速器的可编程性和部署效率有何影响？
• RQ3 与完全数字化的 SIMD 优化 CPU 实现相比，AIMC 加速在 CNNs、MLPs 和 LSTMs 中能多大程度上减少数据移动并提升计算效率？
• RQ4 在 DNN 中仅对特定层（如卷积层）进行 AIMC 加速，而其余层保留在 CPU 上时，性能与能耗之间存在怎样的权衡？
• RQ5 在流水线化的 DNN 推理工作负载中，系统如何处理 CPU 核心利用率不均和通信瓶颈问题？

主要发现

• ALPINE 框架成功实现了对混合 CPU-AIMC 架构的全系统仿真，包括操作系统、内存与自定义硬件组件之间的交互。
• 对于最大的 CNN 变体（CNN-S），与支持 SIMD 的 ARM CPU 实现相比，系统实现了 20.5 倍的性能提升和 20.8 倍的能耗降低。
• 当由 AIMC 模块加速时，卷积层 2 和 3 的 CPU 空闲周期最多减少 4 倍，指令/周期（IPC）最多提升 3 倍。
• 全连接层表现出最高的 CPU 空闲时间，表明性能瓶颈在不同层之间转移，需进一步优化数据流和内存访问模式。
• 性能增益在不同类型的 DNN（包括 MLPs 和 LSTMs）中保持一致，证明该框架在支持多样化神经网络工作负载方面具有高度通用性。
• 结果验证了通过自定义指令和软件抽象实现的 AIMC 与 CPU 紧密集成，可在不牺牲灵活性或无需为每种模型设计专用加速器的前提下，显著提升系统效率。