[论文解读] MPNA: A Massively-Parallel Neural Array Accelerator with Dataflow Optimization for Convolutional Neural Networks

Muhammad Abdullah Hanif, Rachmad Vidya Wicaksana Putra+4 more|arXiv (Cornell University)|Oct 30, 2018

Advanced Neural Network Applications参考文献 8被引用 14

一句话总结

本文提出MPNA，一种大规模并行神经数组加速器，采用异构Systolic数组与优化数据流，协同加速卷积（CONV）和全连接（FC）层。通过实现高数据重用与高效内存访问，MPNA在28nm ASIC实现中达到280 MHz时的149.7 GOPS/W能效，相比基线架构性能提升1.7倍，能效节省51%。

ABSTRACT

The state-of-the-art accelerators for Convolutional Neural Networks (CNNs) typically focus on accelerating only the convolutional layers, but do not prioritize the fully-connected layers much. Hence, they lack a synergistic optimization of the hardware architecture and diverse dataflows for the complete CNN design, which can provide a higher potential for performance/energy efficiency. Towards this, we propose a novel Massively-Parallel Neural Array (MPNA) accelerator that integrates two heterogeneous systolic arrays and respective highly-optimized dataflow patterns to jointly accelerate both the convolutional (CONV) and the fully-connected (FC) layers. Besides fully-exploiting the available off-chip memory bandwidth, these optimized dataflows enable high data-reuse of all the data types (i.e., weights, input and output activations), and thereby enable our MPNA to achieve high energy savings. We synthesized our MPNA architecture using the ASIC design flow for a 28nm technology, and performed functional and timing validation using multiple real-world complex CNNs. MPNA achieves 149.7GOPS/W at 280MHz and consumes 239mW. Experimental results show that our MPNA architecture provides 1.7x overall performance improvement compared to state-of-the-art accelerator, and 51% energy saving compared to the baseline architecture.

研究动机与目标

• 解决现有CNN加速器在全连接（FC）层上性能与能效低下的问题，其对FC层的优化不足。
• 克服传统Systolic数组在FC层上加速有限的局限，因激活与权重的重用率较低。
• 设计一种软硬件协同优化的加速器，最大化CONV与FC层之间的数据重用。
• 通过集成异构Systolic数组与针对不同层类型定制的数据流模式，实现高性能与高能效。
• 通过ASIC综合与全面评估，利用真实CNN（如AlexNet）验证所提架构的有效性。

提出的方法

• 提出一种新型大规模并行神经数组（MPNA）架构，集成两个针对CONV与FC层分别优化的异构Systolic数组。
• 设计专用数据流模式，以最大化在两种层类型间对权重、输入激活与输出激活的重用。
• 实现数据流控制器与片上存储层次（包括数据与权重缓冲区），以支持高效数据搬运并减少对外部内存的访问。
• 采用Synopsys工具链的28nm ASIC设计流程，完成RTL设计、综合与时序/功耗/面积分析。
• 集成CACTI 7.0以实现精确的片上内存建模与功耗估算。
• 使用ModelSim进行功能与时序验证，并在多个真实CNN（包括AlexNet）上评估性能表现。

实验结果

研究问题

• RQ1 单一加速器架构能否在不牺牲能效的前提下，高效加速CNN中的卷积与全连接层？
• RQ2 如何通过数据流优化，最大化在多种层类型间对权重、激活与部分和的重用？
• RQ3 在传统CONV优化架构中增加专用FC优化Systolic数组，其性能与能效开销如何？
• RQ4 优化数据流在多大程度上可减少对外部内存的访问，从而提升CNN加速器的整体能效？
• RQ5 与现有最先进加速器相比，所提出的MPNA在性能、能效与面积消耗方面表现如何？

主要发现

• MPNA在280 MHz下实现149.7 GOPS/W的能效，显著优于基线架构。
• 所提出的MPNA相比Eyeriss与FlexFlow等最先进加速器，实现1.7倍的整体性能提升。
• 由于优化的数据流与增强的数据重用，MPNA相比FlexFlow将外部内存访问减少53%。
• SA-FC组件仅带来2.1%的面积与4.4%的功耗开销，相较于SA-CONV，表明FC加速成本极低。
• 与基线架构相比，MPNA实现51%的能效节省，主要归因于最小化内存访问与最大化数据重用。
• MPNA总芯片面积为2.34 mm²，其中计算部分占1.38 mm²，片上内存占0.96 mm²，与现有最先进加速器相比尺寸具有竞争力。