[论文解读] Compacting Neural Network Classifiers via Dropout Training

Yotaro Kubo, George Tucker+1 more|arXiv (Cornell University)|Nov 18, 2016

Speech Recognition and Synthesis参考文献 18被引用 11

一句话总结

本文提出了一种名为Dropout压缩（dropout compaction）的方法，通过使用在0和1处具有尖峰的双峰先验，对每个神经元的丢弃保留概率进行正则化，从而在训练过程中自动剪枝冗余的隐藏神经元。该方法在语音识别任务上实现了最先进（SOTA）的准确率，参数量低于原始模型的50%，推理速度提升2.5倍，且性能无下降。

ABSTRACT

We introduce dropout compaction, a novel method for training feed-forward neural networks which realizes the performance gains of training a large model with dropout regularization, yet extracts a compact neural network for run-time efficiency. In the proposed method, we introduce a sparsity-inducing prior on the per unit dropout retention probability so that the optimizer can effectively prune hidden units during training. By changing the prior hyperparameters, we can control the size of the resulting network. We performed a systematic comparison of dropout compaction and competing methods on several real-world speech recognition tasks and found that dropout compaction achieved comparable accuracy with fewer than 50% of the hidden units, translating to a 2.5x speedup in run-time.

研究动机与目标

• 解决神经网络部署中模型性能与推理效率之间的权衡问题。
• 在不牺牲Dropout正则化优势的前提下，实现在训练过程中自动、结构化的隐藏神经元剪枝。
• 开发一种联合优化网络结构与参数的方法，避免事后压缩或重新训练。
• 在保持或提升基线模型和现有压缩技术性能的同时，实现显著的推理加速。
• 探索在每个神经元的丢弃保留率上使用概率先验以诱导网络稀疏性与紧凑性的可行性。

提出的方法

• 为每个神经元引入基于双峰先验的保留概率，该先验在0和1处有尖锐峰值，促使神经元被始终丢弃或始终激活。
• 使用变分推断近似保留概率的后验分布，支持使用随机梯度下降进行端到端训练。
• 采用具有超参数α和β的稀疏性诱导先验，以控制压缩率和收敛速度。
• 对先验超参数采用退火调度，引导优化过程为每个神经元做出二值决策（0或1）。
• 使用标准反向传播训练网络，其中每个神经元的丢弃掩码根据其学习到的保留概率独立采样。
• 收敛后，移除保留概率接近零的神经元，得到一个紧凑高效的推理网络。

实验结果

研究问题

• RQ1 是否可以训练神经网络，使其在优化过程中自动剪枝冗余隐藏神经元，同时保留Dropout的正则化优势？
• RQ2 在每个神经元的丢弃保留概率上使用概率先验，是否能有效诱导前馈网络的结构稀疏性？
• RQ3 所得到的紧凑网络是否能实现与完整模型相当或更优的准确率，同时实现显著的推理加速？
• RQ4 与SVD压缩、L1剪枝和知识蒸馏等现有压缩技术相比，该方法在准确率和效率方面表现如何？
• RQ5 该方法是否能有效集成到标准训练流程中，包括语音识别中的序列判别性微调（如bMMI）？

主要发现

• 在所有语音识别任务中，Dropout压缩方法在参数量低于原始模型50%的情况下，仍实现了与基线模型相当或更优的词错误率。
• 平均而言，该方法将隐藏神经元数量减少了约50%，使推理时间提升了2.5倍。
• 在大多数情况下，该方法优于基于SVD的压缩和知识蒸馏，尤其在交叉熵训练阶段表现更优。
• 即使在序列判别性微调（bMMI）后，Dropout压缩模型仍保持了强劲性能，表明其与标准训练工作流兼容。
• 保留概率在11个周期内收敛至0或1，表明训练过程中结构学习快速且稳定。
• 最优先验超参数使收敛速度优于退火Dropout（后者需18个周期才能达到完全确定性推理）。