[论文解读] Bayesian Sparsification of Recurrent Neural Networks

Lobacheva Ekaterina, Nadezhda Chirkova+1 more|arXiv (Cornell University)|Jul 31, 2017

Neural Networks and Applications参考文献 21被引用 14

一句话总结

本文提出通过稀疏变分 dropout（Sparse VD）对循环神经网络（RNNs）进行贝叶斯稀疏化，该方法基于 Binary Variational Dropout（Gal & Ghahramani, 2016b）的见解进行适配。在情感分析任务中实现了高达 99.5% 的稀疏度，在字符级语言建模任务中达到 87.6% 的稀疏度，且准确率下降极小，从而实现了高效、正则化且压缩后的 RNN 模型，适用于资源受限设备的部署。

ABSTRACT

Recurrent neural networks show state-of-the-art results in many text analysis tasks but often require a lot of memory to store their weights. Recently proposed Sparse Variational Dropout eliminates the majority of the weights in a feed-forward neural network without significant loss of quality. We apply this technique to sparsify recurrent neural networks. To account for recurrent specifics we also rely on Binary Variational Dropout for RNN. We report 99.5% sparsity level on sentiment analysis task without a quality drop and up to 87% sparsity level on language modeling task with slight loss of accuracy.

研究动机与目标

• 为解决在自然语言处理和语音识别等序列任务中大型 RNN 模型带来的高内存和计算成本问题。
• 通过稀疏变分 dropout 对 RNN 实现系统化、自动化的稀疏化，克服启发式剪枝和手动超参数调优的局限性。
• 在保持模型性能的同时，通过贝叶斯正则化和变分推断实现高水平稀疏化。
• 通过整合 RNN 的贝叶斯 dropout 原理（Gal & Ghahramani, 2016b），将稀疏 VD 框架适配至循环架构。
• 通过模型压缩实现 RNN 在移动和边缘设备上的高效部署，且准确率无显著下降。

提出的方法

• 通过将权重矩阵建模为具有完全分解的正态后验分布的随机变量，将稀疏变分 dropout（Sparse VD）适配至 RNN：$ q(w_{ij}|m_{ij},\alpha_{ij}) = \mathcal{N}(m_{ij}, \alpha_{ij}m^{2}_{ij}) $。
• 采用加法重参数化：$ w_{ij} = m_{ij} + \epsilon_{ij}, \epsilon_{ij} \sim \mathcal{N}(0, \sigma^{2}_{ij}) $，其中 $ \alpha_{ij} = \sigma^{2}_{ij}/m^{2}_{ij} $，以降低梯度方差。
• 应用局部重参数化技巧，将噪声施加于预激活值而非权重，从而提升训练效率和梯度稳定性。
• 对权重幅值采用对数均匀先验：$ p(|w_{ij}|) \propto 1/|w_{ij}| $，实现在训练过程中自动学习稀疏性。
• 整合 RNN 的贝叶斯 dropout（Gal & Ghahramani, 2016b），以妥善处理循环连接，避免梯度消失和记忆丢失问题。
• 通过优化变分下界 $ \mathcal{L} $ 关于 $ \{M, \log\sigma\} $，并采用可微分解析形式近似 KL 散度：$ k(\alpha) \approx 0.64\sigma(1.87 + 1.49\log\alpha) - 0.5\log(1 + \alpha^{-1}) + C $。

实验结果

研究问题

• RQ1 稀疏变分 dropout 能否在保持模型性能的前提下有效扩展至循环神经网络？
• RQ2 在不造成显著准确率下降的前提下，使用贝叶斯稀疏化可在 RNN 中实现多高的稀疏度？
• RQ3 将稀疏 VD 与 RNN 的贝叶斯 dropout 结合，如何提升泛化能力和模型压缩效果？
• RQ4 与启发式剪枝或标准 dropout 相比，该方法在序列任务中是否在稀疏度与准确率的权衡上表现更优？
• RQ5 该方法是否可同时应用于循环层和嵌入层，以进一步压缩大型 RNN 模型？

主要发现

• 在 IMDB 情感分析任务中，该方法实现了 99.5% 的稀疏度，且准确率无显著下降，证明了其高效的压缩能力。
• 在字符级语言建模任务中，模型在权重矩阵（$W^x$, $W^h$, $W^y$）上实现了高达 87.6% 的稀疏度，验证集的每字符比特数仅从 1.499 略增至 1.506。
• 使用 VBD 初始化隐藏层到隐藏层权重矩阵（$W^h$）的模型性能优于随机初始化，表明结构化初始化具有优势。
• 采用稀疏 VD 训练的模型在训练初期因稀疏度增加而出现短暂的准确率下降，但随后恢复并保持了稳定性能。
• 将稀疏 VD 与 RNN 的贝叶斯 dropout 结合，实现了无需手动调参的自动、系统化稀疏化，减少了过拟合并提升了泛化能力。
• 该方法通过大幅减小模型大小，同时保持具有竞争力的性能，使大型 RNN 模型可在内存受限设备上部署成为可能。