[论文解读] Computation on Sparse Neural Networks: an Inspiration for Future Hardware

Fei Sun, Minghai Qin+4 more|ArXiv.org|Apr 24, 2020

Advanced Neural Network Applications参考文献 85被引用 5

一句话总结

本文主张将稀疏神经网络作为未来人工智能硬件的基础方法，认为在‘权重主导’区域的大规模稀疏模型在等效浮点运算量（FLOP）下，其性能优于密集模型。本文提出通过算法、软件与专用硬件的联合设计，加速稀疏训练与推理，从而实现对视频、自然语言处理（NLP）和图学习等复杂人工智能问题的高效探索。

ABSTRACT

Neural network models are widely used in solving many challenging problems, such as computer vision, personalized recommendation, and natural language processing. Those models are very computationally intensive and reach the hardware limit of the existing server and IoT devices. Thus, finding better model architectures with much less amount of computation while maximally preserving the accuracy is a popular research topic. Among various mechanisms that aim to reduce the computation complexity, identifying the zero values in the model weights and in the activations to avoid computing them is a promising direction. In this paper, we summarize the current status of the research on the computation of sparse neural networks, from the perspective of the sparse algorithms, the software frameworks, and the hardware accelerations. We observe that the search for the sparse structure can be a general methodology for high-quality model explorations, in addition to a strategy for high-efficiency model execution. We discuss the model accuracy influenced by the number of weight parameters and the structure of the model. The corresponding models are called to be located in the weight dominated and structure dominated regions, respectively. We show that for practically complicated problems, it is more beneficial to search large and sparse models in the weight dominated region. In order to achieve the goal, new approaches are required to search for proper sparse structures, and new sparse training hardware needs to be developed to facilitate fast iterations of sparse models.

研究动机与目标

• 应对现代人工智能模型日益增长的计算需求，特别是在视觉、自然语言处理（NLP）和推荐系统中的应用。
• 通过利用稀疏性克服硬件限制，在不损失准确率的前提下减少计算量。
• 从对大型模型进行剪枝，转向直接训练稀疏模型，以实现更快的迭代速度与更好的可扩展性。
• 开发新型稀疏训练硬件与软件栈，以支持在复杂模型中实现高达90%–99%的稀疏度。
• 将稀疏性确立为跨多样化人工智能领域（如视觉、NLP与推荐系统）进行模型探索的首要方法论。

提出的方法

• 根据参数量与网络结构，将模型性能划分为‘权重主导’与‘结构主导’区域。
• 提出在权重主导区域中的大规模稀疏模型，其每单位FLOP的准确率高于密集模型。
• 采用结构化稀疏技术（如动态稀疏性、稀疏激活与张量分解）以减少计算量。
• 设计硬件加速器（如EIE、Cnvlutin、SIGMA），通过跳过零值运算并优化稀疏权重与激活的内存访问。
• 设计具备灵活路由与高处理元素（PE）利用率的稀疏训练平台，以降低内存开销并提升吞吐量。
• 在算法、软件（如稀疏库）与硬件之间应用联合设计原则，以加速稀疏模型的训练与推理。

实验结果

研究问题

• RQ1 在相同的FLOP预算下，稀疏神经网络能否实现比密集模型更高的准确率？
• RQ2 为何在复杂人工智能任务中，直接训练大规模稀疏模型比从更大的密集模型中剪枝更有效？
• RQ3 如何设计硬件加速器，以高效支持大规模稀疏训练（例如90%–99%的稀疏度）？
• RQ4 稀疏性在视觉、自然语言处理（NLP）与推荐系统等多样化人工智能领域中，作为通用模型探索方法论所起的作用是什么？
• RQ5 软件框架与硬件加速器如何通过联合设计，实现对稀疏模型的快速迭代？

主要发现

• 在权重主导区域中，稀疏模型在相同FLOP数量下，其准确率显著高于密集模型。
• 传统从大型密集模型中剪枝的方法，无法为复杂问题生成最优的稀疏结构，因此必须采用直接训练稀疏模型的方法。
• 如EIE、Cnvlutin与SIGMA等硬件加速器通过跳过零值计算并减少内存访问开销，显著提升了推理效率。
• 具备高PE利用率与灵活路由的稀疏训练硬件（如SIGMA的128×128 Flex-DPE）可高效支持大规模稀疏模型的训练。
• 动态稀疏性与结构化稀疏机制通过利用输入相似性与激活模式，有效降低了计算量与能耗。
• 算法、软件与硬件的联合设计，是充分发挥稀疏神经网络在下一代人工智能工作负载中潜力的关键。