[论文解读] LCP: A Low-Communication Parallelization Method for Fast Neural Network Inference in Image Recognition

Ramyad Hadidi, Bahar Asgari+7 more|arXiv (Cornell University)|Mar 13, 2020

Advanced Neural Network Applications参考文献 95被引用 4

一句话总结

本文提出低通信并行化（LCP），一种将深度神经网络拆分为多个窄小、独立分支的方法，以实现在边缘设备上的高效、低开销分布式推理。通过最小化设备间通信并减少每个节点的计算与内存开销，LCP在边缘硬件上实现了最高56倍的加速，平均加速达7倍——结合剪枝与量化后可进一步提升至33倍。

ABSTRACT

Deep neural networks (DNNs) have inspired new studies in myriad edge applications with robots, autonomous agents, and Internet-of-things (IoT) devices. However, performing inference of DNNs in the edge is still a severe challenge, mainly because of the contradiction between the intensive resource requirements of DNNs and the tight resource availability in several edge domains. Further, as communication is costly, taking advantage of other available edge devices by using data- or model-parallelism methods is not an effective solution. To benefit from available compute resources with low communication overhead, we propose the first DNN parallelization method for reducing the communication overhead in a distributed system. We propose a low-communication parallelization (LCP) method in which models consist of several almost-independent and narrow branches. LCP offers close-to-minimum communication overhead with better distribution and parallelization opportunities while significantly reducing memory footprint and computation compared to data- and model-parallelism methods. We deploy LCP models on three distributed systems: AWS instances, Raspberry Pis, and PYNQ boards. We also evaluate the performance of LCP models on a customized hardware (tailored for low latency) implemented on a small edge FPGA and as a 16mW 0.107mm2 ASIC @7nm chip. LCP models achieve a maximum and average speedups of 56x and 7x, compared to the originals, which could be improved by up to an average speedup of 33x by incorporating common optimizations such as pruning and quantization.

研究动机与目标

• 解决在资源受限的边缘设备（如物联网设备、机器人和无人机）上高效执行深度神经网络（DNN）推理的挑战。
• 克服现有数据并行与模型并行方法在边缘环境中因通信开销高、可扩展性差而带来的局限性。
• 实现在多个边缘设备间有效分布DNN推理，通信量最小，内存占用低，每个节点的计算量减少。
• 设计一种与现有优化技术（如剪枝与量化）正交的方法，提升其在边缘部署中的有效性。

提出的方法

• 将单一宽深DNN拆分为多个窄小、独立的分支，使其并行处理不同的特征表示。
• 仅将输入数据和预最终层激活作为通信内容，与传统模型并行相比，显著减少设备间数据传输量。
• 通过拆分后适度加宽分支，在保持与原始模型相近准确率的同时，仍减少总参数量。
• 采用内存布局预处理步骤，将权重与激活重新排列为顺序、流式访问模式，以实现计算与数据传输的重叠。
• 在AWS、树莓派、PYNQ FPGA及自研7nm ASIC等多种平台上实现LCP架构，验证其可移植性与高效性。
• 在FPGA与ASIC上利用脉动阵列硬件加速器，进一步优化边缘推理的延迟与能效。

实验结果

研究问题

• RQ1 能否设计一种DNN推理方法，在最小化通信开销的同时，实现在多个边缘设备间的有效并行化？
• RQ2 在边缘平台上，所提出的LCP方法与数据并行与模型并行相比，在通信、内存与计算开销方面表现如何？
• RQ3 LCP在多大程度上可减少每个设备的内存与计算开销，同时保持或恢复模型准确率？
• RQ4 LCP能否在异构边缘系统（包括低功耗FPGA与ASIC）上有效部署，并实现可测量的性能提升？
• RQ5 将LCP与现有优化技术（如剪枝与量化）结合后，对推理加速与能效有何影响？

主要发现

• 在树莓派、AWS与PYNQ开发板等边缘平台，LCP在原始DNN基础上实现了最高56倍、平均7倍的加速。
• 结合剪枝与量化后，LCP模型的平均加速提升至33倍，表明其与现有模型压缩技术具有显著协同效应。
• 尽管架构略有扩展，但经过重新优化（加宽）后，LCP模型的总参数量仍低于原始网络。
• 由于分支相互独立，该方法支持层间并行，而传统模型并行受限于顺序依赖关系，仅支持层内并行。
• 在自研7nm ASIC上，LCP实现16mW功耗与仅0.107mm²的芯片面积，展现出极高的能效与面积效率。
• LCP通过顺序数据布局支持高效内存访问，实现数据传输与计算的重叠，有效缓解内存墙效应。