[论文解读] BRDS: An FPGA-based LSTM Accelerator with Row-Balanced Dual-Ratio Sparsification

Seyed Abolfazl Ghasemzadeh, Erfan Bank-Tavakoli+3 more|arXiv (Cornell University)|Jan 7, 2021

Neural Networks and Applications参考文献 16被引用 8

一句话总结

本文提出BRDS，一种基于FPGA的LSTM加速器，采用新颖的行平衡双比率稀疏化技术，以降低能耗并提升速度。通过对LSTM网络中两个敏感权重矩阵应用不同的稀疏比率，并在行级别组织稀疏性，该架构实现了高效的计算重叠与流水线处理，相较于先前工作在PTB数据集上实现更低困惑度的同时，有效GOPS/W提升高达272%。

ABSTRACT

In this paper, first, a hardware-friendly pruning algorithm for reducing energy consumption and improving the speed of Long Short-Term Memory (LSTM) neural network accelerators is presented. Next, an FPGA-based platform for efficient execution of the pruned networks based on the proposed algorithm is introduced. By considering the sensitivity of two weight matrices of the LSTM models in pruning, different sparsity ratios (i.e., dual-ratio sparsity) are applied to these weight matrices. To reduce memory accesses, a row-wise sparsity pattern is adopted. The proposed hardware architecture makes use of computation overlapping and pipelining to achieve low-power and high-speed. The effectiveness of the proposed pruning algorithm and accelerator is assessed under some benchmarks for natural language processing, binary sentiment classification, and speech recognition. Results show that, e.g., compared to a recently published work in this field, the proposed accelerator could provide up to 272% higher effective GOPS/W and the perplexity error is reduced by up to 1.4% for the PTB dataset.

研究动机与目标

• 通过硬件友好的剪枝方法，降低LSTM神经网络加速器的能耗。
• 通过为LSTM的两个权重矩阵应用不同的稀疏比率（双比率稀疏性），解决其在剪枝过程中的敏感性问题。
• 通过在剪枝权重中强制实施行级稀疏模式，最小化内存访问开销。
• 设计一种高吞吐量、低功耗的FPGA加速器，利用计算重叠与流水线处理。
• 在自然语言处理、情感分类和语音识别等真实世界基准上评估所提方法。

提出的方法

• 开发了一种硬件友好的剪枝算法，对两个LSTM权重矩阵分别应用双比率稀疏性——根据其敏感性设定不同的稀疏水平。
• 在行级别强制实施稀疏性，以实现高效的内存访问，并减少存储与带宽需求。
• FPGA加速器架构采用流水线与计算重叠技术，以最大化吞吐量并最小化延迟。
• 该设计针对FPGA进行了优化，利用片上内存与并行处理单元，加速LSTM中的稀疏矩阵-向量乘法。
• 在包括语言建模的PTB、二值情感分类与语音识别任务在内的基准上对系统进行了评估。
• 在FPGA平台上实现加速器，并与近期最先进的FPGA-based LSTM加速器进行对比。

实验结果

研究问题

• RQ1 对LSTM的两个敏感权重矩阵分别应用双比率稀疏化，是否能提升能效与推理准确性？
• RQ2 在基于FPGA的LSTM加速器中，行级稀疏组织模式对内存访问与性能有何影响？
• RQ3 在FPGA架构中，流水线处理与计算重叠在多大程度上能提升吞吐量并降低功耗？
• RQ4 在应用行平衡双比率稀疏化时，模型准确率（如困惑度）与能效之间的权衡如何？
• RQ5 与现有基于FPGA的LSTM加速器相比，所提加速器在性能与能效方面表现如何？

主要发现

• 所提出的BRDS加速器相较于近期发表的FPGA-based LSTM加速器，有效GOPS/W最高提升272%。
• 在Penn Treebank（PTB）数据集上，困惑度误差相比基线降低最多1.4%，表明推理准确性有所提升。
• 行平衡双比率稀疏化技术在有效保持模型准确率的同时，实现了两个LSTM权重矩阵的高稀疏水平。
• FPGA实现通过减少内存访问与高效的计算重叠，展现出显著的能效节省。
• 通过流水线执行与稀疏矩阵运算的优化数据流，加速器保持了高吞吐量。
• 结果证实，感知敏感度的稀疏性结合行级组织模式，在FPGA部署中既有效又具备硬件友好性。