[论文解读] Chain-NN: An Energy-Efficient 1D Chain Architecture for Accelerating Deep Convolutional Neural Networks

Shihao Wang, Dajiang Zhou+2 more|arXiv (Cornell University)|Mar 4, 2017

Advanced Neural Network Applications参考文献 8被引用 6

一句话总结

Chain-NN 提出一种一维链式架构，采用双通道处理引擎，通过使用流水线原语和逐列输入扫描，最小化数据移动，从而加速深度卷积神经网络（CNNs）。在台积电28nm工艺下实现，576个处理单元（PE）的版本在567.5mW功耗下达到806.4 GOPS性能，能量效率达1421.0 GOPS/W，较现有最先进加速器提升2.5–4.1倍。

ABSTRACT

Deep convolutional neural networks (CNN) have shown their good performances in many computer vision tasks. However, the high computational complexity of CNN involves a huge amount of data movements between the computational processor core and memory hierarchy which occupies the major of the power consumption. This paper presents Chain-NN, a novel energy-efficient 1D chain architecture for accelerating deep CNNs. Chain-NN consists of the dedicated dual-channel process engines (PE). In Chain-NN, convolutions are done by the 1D systolic primitives composed of a group of adjacent PEs. These systolic primitives, together with the proposed column-wise scan input pattern, can fully reuse input operand to reduce the memory bandwidth requirement for energy saving. Moreover, the 1D chain architecture allows the systolic primitives to be easily reconfigured according to specific CNN parameters with fewer design complexity. The synthesis and layout of Chain-NN is under TSMC 28nm process. It costs 3751k logic gates and 352KB on-chip memory. The results show a 576-PE Chain-NN can be scaled up to 700MHz. This achieves a peak throughput of 806.4GOPS with 567.5mW and is able to accelerate the five convolutional layers in AlexNet at a frame rate of 326.2fps. 1421.0GOPS/W power efficiency is at least 2.5 to 4.1x times better than the state-of-the-art works.

研究动机与目标

• 通过最小化片外内存带宽来降低深度CNN推理的能耗。
• 解决CNN加速器中处理器与内存层次间数据移动带来的高功耗问题。
• 设计一种可扩展、可重构的架构，以高效支持不同CNN层配置。
• 实现在资源受限平台上的实时CNN推理，具备高吞吐量和高能效。

提出的方法

• 采用一维处理单元（PE）链，组织为双通道流水线阵列，用于卷积运算。
• 使用由相邻PE组成的1D流水线原语，以优化数据重用的方式执行卷积操作。
• 引入逐列扫描输入模式，以最大化输入特征图的重用，减少内存访问。
• 设计架构时确保对不同CNN层尺寸具有良好的可重构性，同时保持较低的设计复杂度。
• 在台积电28nm工艺下实现设计，使用3751k个逻辑门和352KB片上内存，实现高效的面积与功耗利用。

实验结果

研究问题

• RQ1 如何最小化CNN加速器中的数据移动以降低能耗？
• RQ2 一维链式架构结合流水线原语是否能为多样化CNN层实现高吞吐量和高能效？
• RQ3 逐列输入扫描在多大程度上提升了数据重用并减少了内存带宽？
• RQ4 一维链式架构的可重构性对设计复杂度及适配不同网络的能力有何影响？

主要发现

• 576个PE的Chain-NN实现版本在台积电28nm工艺下，于700MHz频率下达到峰值吞吐量806.4 GOPS。
• 该设计功耗仅为567.5mW，能量效率达1421.0 GOPS/W。
• 能效比相较现有最先进CNN加速器提升2.5至4.1倍。
• 该架构在326.2fps下加速了AlexNet的全部五个卷积层，实现真正的实时推理。
• 逐列扫描输入模式通过增强操作数重用，显著降低了内存带宽需求。