[论文解读] Block-Sparse Recurrent Neural Networks

Sharan Narang, Eric Undersander+1 more|arXiv (Cornell University)|Nov 8, 2017

Advanced Neural Network Applications参考文献 22被引用 96

一句话总结

本文介绍块剪枝和组套索正则化，以在 RNNs 和 GRUs 中诱导块状稀疏，实现 80–90% 稀疏度，几乎不损失精度，模型大小约减少 10x，适用于高达 32x32 的块。

ABSTRACT

Recurrent Neural Networks (RNNs) are used in state-of-the-art models in domains such as speech recognition, machine translation, and language modelling. Sparsity is a technique to reduce compute and memory requirements of deep learning models. Sparse RNNs are easier to deploy on devices and high-end server processors. Even though sparse operations need less compute and memory relative to their dense counterparts, the speed-up observed by using sparse operations is less than expected on different hardware platforms. In order to address this issue, we investigate two different approaches to induce block sparsity in RNNs: pruning blocks of weights in a layer and using group lasso regularization to create blocks of weights with zeros. Using these techniques, we demonstrate that we can create block-sparse RNNs with sparsity ranging from 80% to 90% with small loss in accuracy. This allows us to reduce the model size by roughly 10x. Additionally, we can prune a larger dense network to recover this loss in accuracy while maintaining high block sparsity and reducing the overall parameter count. Our technique works with a variety of block sizes up to 32x32. Block-sparse RNNs eliminate overheads related to data storage and irregular memory accesses while increasing hardware efficiency compared to unstructured sparsity.

研究动机与目标

• 激励在语音识别及相关任务中减少 RNN 的计算量和内存占用。
• 提出块剪枝和组套索正则化，在 RNN/GRU 矩阵中创建块结构化稀疏。
• 在大规模语音数据集上评估 4x4 至 32x32 块的稀疏性与准确性的权衡。
• 展示块稀疏格式相对于无结构稀疏在硬件方面的效率优势。

提出的方法

• 扩展权重剪枝，通过在每个块中选择一个代表性的最大幅值来对块进行剪枝，并将阈值以下的块设为零。
• 在训练过程中使用一个单调递增的剪枝阈值及其调度参数，以实现高稀疏性。
• 引入对权重块的组套索正则化以鼓励块级稀疏，与剪枝（GLP）结合。
• 将块剪枝与组套索（GLP）结合，并分析对准确性和稀疏性的影响。
• 探索多达 32x32 的块大小，并讨论硬件含义和内存开销的降低。

实验结果

研究问题

• RQ1 块剪枝和组套索正则化是否能够在 RNN/GRU 中实现高块稀疏（80–90%）而几乎不损失准确性？
• RQ2 块大小和剪枝调度如何影响大规模语音数据集上的准确性、参数数量和硬件效率？
• RQ3 块剪枝、组套索及其组合（GLP）在 RNN/GRU 模型中的比较性能如何？
• RQ4 在剪枝之前增大稠密模型规模如何影响最终稀疏性和准确性？

主要发现

• 在剪枝的块剪枝和组套索下，达到约 89–90% 的稀疏性，CER 下降有限（GRU 为 8.8%，RNN 根据配置为 16.7–16.0%）。
• 稀疏的 RNN/GRU 模型使参数约减少 10x，其中稀疏 GRU 2560/3584 的 CER 接近密集基线。
• 更大的块大小（最高至 32x32）在保持准确性方面容忍较低的稀疏性，同时仍可受益于降低的内存开销。
• 不带剪枝的组套索的表现不如 GLP，表明剪枝有助于稀疏性的有效性。
• 对更大、 更密集的模型进行剪枝（例如 2560/3072）可以使准确性更接近密集基线，同时保持高稀疏性。