[论文解读] Conditional Computation in Neural Networks for faster models

Emmanuel Bengio, Pierre‐Luc Bacon+2 more|arXiv (Cornell University)|Nov 19, 2015

Adversarial Robustness in Machine Learning参考文献 24被引用 151

一句话总结

本文提出一种基于强化学习的方法，用于在深度神经网络中学习输入相关的稀疏激活策略，通过有选择地激活相关网络单元实现更快的推理。采用REINFORCE算法并结合双重目标——最小化预测损失和减少活跃单元数量——在保持与标准网络相当准确率的同时，显著提升了基于CPU的推理计算效率。

ABSTRACT

Deep learning has become the state-of-art tool in many applications, but the evaluation and training of deep models can be time-consuming and computationally expensive. The conditional computation approach has been proposed to tackle this problem (Bengio et al., 2013; Davis & Arel, 2013). It operates by selectively activating only parts of the network at a time. In this paper, we use reinforcement learning as a tool to optimize conditional computation policies. More specifically, we cast the problem of learning activation-dependent policies for dropping out blocks of units as a reinforcement learning problem. We propose a learning scheme motivated by computation speed, capturing the idea of wanting to have parsimonious activations while maintaining prediction accuracy. We apply a policy gradient algorithm for learning policies that optimize this loss function and propose a regularization mechanism that encourages diversification of the dropout policy. We present encouraging empirical results showing that this approach improves the speed of computation without impacting the quality of the approximation.

研究动机与目标

• 解决深度神经网络推理和训练过程中的高计算成本问题。
• 开发一种学习输入相关稀疏激活策略的方法，在不损失准确率的前提下减少计算量。
• 将条件计算建模为强化学习问题，同时优化预测性能和计算效率。
• 引入一种正则化机制，以促进不同输入下激活单元模式的多样性，避免冗余。

提出的方法

• 将条件计算建模为马尔可夫决策过程（MDP），其中动作是作用于网络单元的伯努利掩码。
• 使用Sigmoid-Bernoulli策略网络计算每一层的输入相关激活概率，其参数由前一层激活的线性变换决定。
• 应用REINFORCE策略梯度算法，联合优化预测准确率和稀疏性，使用复合奖励信号。
• 引入正则化项以促进Dropout策略中激活模式的多样性，防止活跃单元之间的共适应。
• 通过策略梯度的反向传播，端到端联合训练策略网络与主网络。
• 采用单核CPU设置，评估该方法在低功耗设备上的实际部署可行性。

实验结果

研究问题

• RQ1 强化学习能否有效学习输入相关的稀疏激活策略，从而在深度神经网络中减少计算量？
• RQ2 此类策略在提升推理速度的同时，能在多大程度上保持预测准确率？
• RQ3 所提出的正则化机制如何提升条件计算策略的多样性和鲁棒性？
• RQ4 该方法能否通过REINFORCE等策略梯度方法实现高效训练？
• RQ5 在实际基于CPU的推理场景中，模型准确率与计算效率之间存在怎样的权衡？

主要发现

• 所提方法在标准基准测试上实现了与标准深度网络相当的测试准确率，证明稀疏性不会降低性能。
• 该模型在单核CPU上的推理时间显著缩短，报告的运行时间相比密集网络大幅减少。
• 正则化机制成功促进了激活模式的多样性，减少了冗余，提升了稀疏计算策略的泛化能力。
• 使用REINFORCE能够有效训练条件计算策略，即使在掩码不可微的情况下亦成立。
• 通过一个控制稀疏性的超参数，可灵活调节准确率与速度之间的权衡。
• 该方法在低功耗、单核设备（如智能手机）上的部署中尤为有效，其中计算效率至关重要。