[论文解读] Energy-Efficient Accelerator Design for Deformable Convolution Networks

Dawen Xu, Cheng Chu+5 more|arXiv (Cornell University)|Jul 6, 2021

Advanced Neural Network Applications参考文献 36被引用 4

一句话总结

该论文提出了一种专用神经网络加速器（DCNA），通过引入运行时基于块的依赖跟踪与调度机制，有效支持可变形卷积网络（DCNs），以处理不规则内存访问，实现2D数组上的并行双线性插值，并融合处理阶段以减少数据移动。DCNA在标准NNA上仅增加6.6%的面积开销，相比GPU实现了3倍加速和18.6倍能效提升，相比ARM+TPU实现了45×–546×的加速。

ABSTRACT

Deformable convolution networks (DCNs) proposed to address the image recognition with geometric or photometric variations typically involve deformable convolution that convolves on arbitrary locations of input features. The locations change with different inputs and induce considerable dynamic and irregular memory accesses which cannot be handled by classic neural network accelerators (NNAs). Moreover, bilinear interpolation (BLI) operation that is required to obtain deformed features in DCNs also cannot be deployed on existing NNAs directly. Although a general purposed processor (GPP) seated along with classic NNAs can process the deformable convolution, the processing on GPP can be extremely slow due to the lack of parallel computing capability. To address the problem, we develop a DCN accelerator on existing NNAs to support both the standard convolution and deformable convolution. Specifically, for the dynamic and irregular accesses in DCNs, we have both the input and output features divided into tiles and build a tile dependency table (TDT) to track the irregular tile dependency at runtime. With the TDT, we further develop an on-chip tile scheduler to handle the dynamic and irregular accesses efficiently. In addition, we propose a novel mapping strategy to enable parallel BLI processing on NNAs and apply layer fusion techniques for more energy-efficient DCN processing. According to our experiments, the proposed accelerator achieves orders of magnitude higher performance and energy efficiency compared to the typical computing architectures including ARM, ARM+TPU, and GPU with 6.6\% chip area penalty to a classic NNA.

研究动机与目标

• 解决可变形卷积网络（DCNs）中不规则且动态的内存访问模式问题，此类模式与传统神经网络加速器（NNAs）不兼容。
• 克服现有NNAs缺乏对双线性插值（BLI）原生支持的问题，而BLI在DCNs中计算形变特征时至关重要。
• 设计一种能效高效的加速器，支持标准卷积与可变形卷积，且无需模型微调或精度损失。
• 通过基于块的调度与层融合技术，实现片上数据重用，减少数据移动与内存带宽压力。
• 在保持与现有NNA架构兼容的前提下，实现DCNs的高性能与高能效。

提出的方法

• 引入块依赖表（TDT）以运行时跟踪输入块与输出块之间的依赖关系，实现对可变形卷积中不规则内存访问的动态处理。
• 设计片上块调度器，利用TDT分析输出块中输入块的重用情况，优化数据重用并减少冗余内存访问。
• 提出一种新颖的映射策略，将双线性插值（BLI）操作映射到2D处理阵列上实现并行执行，避免依赖通用处理器。
• 应用层融合技术，将每个可变形卷积操作内的处理阶段合并，减少中间数据向DRAM的移动，提升片上数据重用效率。
• 采用基于块的数据分区机制，将计算与内存访问解耦，实现高效调度与缓冲，同时最小化DRAM能量消耗。
• 优化块大小，在依赖跟踪粒度与内存访问效率之间取得平衡，更小的块可释放更大的优化潜力。

实验结果

研究问题

• RQ1 如何在硬件加速器中高效管理可变形卷积网络中的不规则且动态的内存访问模式？
• RQ2 在不依赖通用处理器的前提下，如何有效将双线性插值操作映射到神经网络加速器上实现并行执行？
• RQ3 如何在DCNs中最大化块之间的数据重用，以减少内存带宽与DRAM能量消耗？
• RQ4 在标准NNA中集成可变形卷积支持后，性能与能效可提升多少，且仅带来最小面积开销？
• RQ5 层融合与基于块的调度是否能协同减少中间数据移动，提升DCN工作负载下加速器的效率？

主要发现

• 所提出的DCNA在性能上相比ARM+TPU架构提升45×至546×，后者将可变形卷积卸载至效率低下的通用处理器执行。
• 与GPU相比，DCNA在VGG19和SegNet-F等代表性DCN模型上实现了3倍加速与18.6倍能效提升。
• 与仅使用位向量依赖跟踪的基线相比，块调度机制平均减少了40.7%的内存访问次数。
• 更小的块尺寸（如8×8）因具备更好的依赖跟踪与数据重用能力，实现了最低的归一化DRAM能量消耗。
• 层融合在VGG19/SegNet-F上使能量消耗降低超过20%，通过最小化中间数据向DRAM的传输，尤其对大尺寸可变形卷积操作具有显著优势。
• DCNA仅在标准NNA基础上增加了6.6%的芯片面积开销，证明了其在支持DCN加速方面具有极高的面积效率。