[论文解读] An end-to-end approach for speeding up neural network inference

Charles Herrmann, Richard Strong Bowen+1 more|arXiv (Cornell University)|Dec 11, 2018

Advanced Neural Network Applications参考文献 42被引用 3

一句话总结

该论文提出了一种端到端框架，通过批量激活损失和Gumbel重参数化学习动态网络结构，联合优化神经网络的推理速度与精度。该方法可同时实现剪枝和条件计算，在ImageNet分类任务中，ResNet的计算量减少了45–52%，MobileNetV2的计算量减少了19–37%，且精度下降不明显。

ABSTRACT

Important applications such as mobile computing require reducing the computational costs of neural network inference. Ideally, applications would specify their preferred tradeoff between accuracy and speed, and the network would optimize this end-to-end, using classification error to remove parts of the network \cite{lecun1990optimal,mozer1989skeletonization,BMVC2016_104}. Increasing speed can be done either during training -- e.g., pruning filters \cite{li2016pruning} -- or during inference -- e.g., conditionally executing a subset of the layers \cite{aig}. We propose a single end-to-end framework that can improve inference efficiency in both settings. We introduce a batch activation loss and use Gumbel reparameterization to learn network structure \cite{aig,jang2016categorical}. We train end-to-end against batch activation loss combined with classification loss, and the same technique supports pruning as well as conditional computation. We obtain promising experimental results for ImageNet classification with ResNet \cite{he2016resnet} (45-52\% less computation) and MobileNetV2 \cite{sandler2018mobilenetv2} (19-37\% less computation).

研究动机与目标

• 在移动计算等实际应用中，实现神经网络推理速度与精度权衡的端到端优化。
• 开发一个统一框架，支持推理过程中同时进行模型剪枝和条件计算。
• 通过可学习网络结构，在不牺牲分类性能的前提下降低计算成本。
• 使用批量激活损失与分类损失相结合的方式训练网络，实现联合优化。

提出的方法

• 引入批量激活损失，以在训练过程中指导网络结构的学习。
• 使用Gumbel重参数化技术，可微地采样离散结构，从而实现通过网络架构选择进行反向传播。
• 使用批量激活损失与标准分类损失的组合，实现网络的端到端训练。
• 通过学习保留或激活哪些组件，同时实现滤波器剪枝和层的条件执行。
• 将该框架应用于ResNet和MobileNetV2，用于ImageNet分类任务。

实验结果

研究问题

• RQ1 单一端到端框架能否联合优化神经网络中的推理速度与精度？
• RQ2 Gumbel重参数化能否有效学习用于剪枝和条件计算的动态网络结构？
• RQ3 所提出的方法是否在保持高分类精度的同时实现显著的计算量减少？
• RQ4 批量激活损失在学习高效网络结构方面起到了什么作用？

主要发现

• 所提出方法在ImageNet分类任务中，使ResNet的计算量减少了45–52%，且精度下降可忽略不计。
• 在MobileNetV2上，该方法实现了19–37%的计算量减少，同时保持了具有竞争力的精度。
• 该框架成功在单一训练范式下同时支持剪枝和条件计算。
• 使用Gumbel重参数化技术实现了可微的架构搜索，从而支持网络结构的端到端优化。