[论文解读] Low Latency CMOS Hardware Acceleration for Fully Connected Layers in Deep Neural Networks

Nick Iliev, Amit Ranjan Trivedi|arXiv (Cornell University)|Nov 25, 2020

Advanced Neural Network Applications被引用 4

一句话总结

本文提出 FC-ACCL，一种用于深度神经网络全连接（FC）层的低延迟 CMOS ASIC 加速器，采用 128 个并行 8x8 或 16x16 处理元素（PE），并配备 128 个高带宽内存（HBM）单元，以新颖的列-行-列调度方式存储和流式传输权重。该设计在 100 MHz 时钟下实现了 48.4 GOPS 的性能，针对 4096×1000 的 FC8 层，优于先前在 150 MHz 下实现 28.8 GOPS 的加速器，通过最大化并行性并最小化内存访问延迟，显著提升了性能。

ABSTRACT

We present a novel low latency CMOS hardware accelerator for fully connected (FC) layers in deep neural networks (DNNs). The FC accelerator, FC-ACCL, is based on 128 8x8 or 16x16 processing elements (PEs) for matrix-vector multiplication, and 128 multiply-accumulate (MAC) units integrated with 128 High Bandwidth Memory (HBM) units for storing the pretrained weights. Micro-architectural details for CMOS ASIC implementations are presented and simulated performance is compared to recent hardware accelerators for DNNs for AlexNet and VGG 16. When comparing simulated processing latency for a 4096-1000 FC8 layer, our FC-ACCL is able to achieve 48.4 GOPS (with a 100 MHz clock) which improves on a recent FC8 layer accelerator quoted at 28.8 GOPS with a 150 MHz clock. We have achieved this considerable improvement by fully utilizing the HBM units for storing and reading out column-specific FClayer weights in 1 cycle with a novel colum-row-column schedule, and implementing a maximally parallel datapath for processing these weights with the corresponding MAC and PE units. When up-scaled to 128 16x16 PEs, for 16x16 tiles of weights, the design can reduce latency for the large FC6 layer by 60 % in AlexNet and by 3 % in VGG16 when compared to an alternative EIE solution which uses compression.

研究动机与目标

• 为解决 DNN 推理中全连接（FC）层的高延迟问题，特别是针对 AlexNet 和 VGG16 等模型。
• 通过实现单周期列特定权重访问，减少 FC 层中的内存访问瓶颈。
• 设计一种高度并行、面积高效的 CMOS ASIC 架构，以最大化 FC 层的吞吐量并最小化延迟。
• 在保持片上资源高利用率的前提下，实现比现有硬件加速器更低的处理延迟。

提出的方法

• FC-ACCL 架构采用 128 个并行 8x8 或 16x16 处理元素（PE），用于全连接层中的矩阵-向量乘法。
• 集成 128 个高带宽内存（HBM）单元，用于存储和流式传输完整的权重矩阵，实现单周期列特定访问。
• 采用新颖的列-行-列内存访问调度策略，以优化数据重用并减少乘累加（MAC）和 PE 单元中的空闲周期。
• 数据通路完全并行化，每个 PE 和 MAC 单元同步运行，以最大化吞吐量。
• 采用分块架构，权重以 16x16 块为单位处理，支持对更大 FC 层的高效扩展。
• 微架构针对 CMOS ASIC 实现进行了优化，包含对 128 个 PE 的详细时序与面积分析。

实验结果

研究问题

• RQ1 通过优化内存访问模式，CMOS ASIC 加速器能否实现比现有 FC 层加速器更低的延迟？
• RQ2 列-行-列内存调度策略对 FC 层推理的延迟和吞吐量有何影响？
• RQ3 PE 和 MAC 单元中的并行性在多大程度上可被最大化，以提升 GOPS 性能？
• RQ4 所提出的架构在处理大型 FC 层（如 AlexNet 中的 FC6 和 VGG16 中的 FC8）时，其延迟降低效果如何？
• RQ5 与压缩的 EIE 基础解决方案相比，FC-ACCL 设计在延迟和吞吐量方面带来了多大性能提升？

主要发现

• FC-ACCL 加速器在 100 MHz 时钟下，针对 4096×1000 的 FC8 层实现了 48.4 GOPS 的性能，显著优于先前在 150 MHz 下实现 28.8 GOPS 的加速器。
• 新颖的列-行-列内存访问调度策略实现了单周期列特定权重访问，降低了内存延迟并提升了资源利用率。
• 将 128 个 16x16 PE 扩展后，与另一种基于 EIE 的方案相比，AlexNet 中的大型 FC6 层延迟降低了 60%。
• 对于 VGG16 中的 FC8 层，该设计相比同一 EIE 基础方案将延迟降低了 3%。
• 通过完全利用 128 个 MAC 单元和 128 个 PE，实现最大并行数据通路，最小化空闲周期，从而实现高吞吐量。
• 该设计表明，内存带宽和调度是 FC 层加速中的关键瓶颈，其优化可带来显著的性能提升。