[论文解读] Dynamic Neural Network Channel Execution for Efficient Training

Simeon E. Spasov, Píetro Lió|arXiv (Cornell University)|May 15, 2019

Advanced Neural Network Applications参考文献 34被引用 4

一句话总结

本文提出了一种动态通道执行框架，通过在每个训练步骤中使用组合上置信度 bound（CUCB）算法选择性地激活最显著的卷积通道，从而降低卷积神经网络（CNN）的训练和推理成本。该方法在仅造成极小精度下降的情况下，实现了高达4倍的 FLOPs 减少和9倍的参数减少，实现了无需增加模型复杂度的高效紧凑模型发现。

ABSTRACT

Existing methods for reducing the computational burden of neural networks at run-time, such as parameter pruning or dynamic computational path selection, focus solely on improving computational efficiency during inference. On the other hand, in this work, we propose a novel method which reduces the memory footprint and number of computing operations required for training and inference. Our framework efficiently integrates pruning as part of the training procedure by exploring and tracking the relative importance of convolutional channels. At each training step, we select only a subset of highly salient channels to execute according to the combinatorial upper confidence bound algorithm, and run a forward and backward pass only on these activated channels, hence learning their parameters. Consequently, we enable the efficient discovery of compact models. We validate our approach empirically on state-of-the-art CNNs - VGGNet, ResNet and DenseNet, and on several image classification datasets. Results demonstrate our framework for dynamic channel execution reduces computational cost up to 4x and parameter count up to 9x, thus reducing the memory and computational demands for discovering and training compact neural network models.

研究动机与目标

• 降低在资源受限设备上训练深度 CNN 所需的内存和计算需求。
• 将通道剪枝直接集成到训练过程中，而非在训练后应用。
• 通过动态通道选择实现紧凑、参数高效的神经网络模型的高效发现。
• 在保持或提升训练和推理精度的同时，最小化模型复杂度。

提出的方法

• 将通道选择建模为组合多臂赌博机问题，以平衡通道显著性的探索与利用。
• 使用组合上置信度 bound（CUCB）算法，在每个训练步骤中选择显著性估计值最高的通道子集。
• 仅在前向和反向传播中激活并执行所选通道，从而减少内存和 FLOP 使用量。
• 通道显著性独立于位置或连接关系进行追踪，基于其对网络性能的相对贡献。
• 在识别出显著通道后，冻结网络拓扑结构，并对所选通道进行微调以提升精度。
• 与先前的动态推理方法不同，该方法未引入用于门控的额外参数。

实验结果

研究问题

• RQ1 在训练期间进行动态通道选择是否能显著降低计算和内存成本，同时不牺牲模型精度？
• RQ2 将剪枝集成到训练过程中，对紧凑 CNN 的效率和性能有何影响？
• RQ3 使用 CUCB 进行通道选择是否优于随机或启发式通道选择策略？
• RQ4 在保持图像分类任务基线精度的前提下，参数量和 FLOPs 最多可减少多少？

主要发现

• 在 SVHN 和 CIFAR-10 上，使用 30% 活跃通道训练的 ResNet-50 实现了超过 4 倍的 FLOPs 减少和 3 倍的参数减少，且精度下降可忽略。
• 在 CIFAR-10 上，表现最佳的 VGG 模型在使用 70–90% 活跃通道时，实现了 2 倍的参数减少。
• 对于极紧凑模型（30–40% 活跃通道），参数减少达到 3 倍–7 倍，FLOP 减少达到 2 倍–5 倍，且在 CIFAR-10 和 SVHN 上的精度与基线相当。
• ResNet-50 在 CIFAR-10 和 SVHN 上实现了高达 9 倍的参数减少，同时保持了基线水平的性能。
• 在 CIFAR-100 上，使用 30–40% 活跃通道的模型表现出 2–3% 的精度下降，表明 100 类分类需要更高的模型容量。
• 基于 CUCB 的通道选择优于随机选择，尤其在低通道比例下表现更优，且随着活跃通道数量减少，性能差距进一步扩大。