[论文解读] Attention Based Pruning for Shift Networks

Ghouthi Boukli Hacene, Lassance, Carlos+3 more|arXiv (Cornell University)|Feb 28, 2019

Advanced Neural Network Applications参考文献 33被引用 15

一句话总结

本文提出了一种基于注意力机制的剪枝方法——Shift Attention Layers（SALs），在训练过程中学习最优的移位操作，以替代固定的手动设计移位。通过使用可微分的注意力机制，动态选择每个特征图最相关的移位，SALs在显著降低FLOPs和参数量的同时，实现了比原始移位层和标准CNN更高的准确率，使其成为资源受限设备推理的理想选择。

ABSTRACT

In many application domains such as computer vision, Convolutional Layers (CLs) are key to the accuracy of deep learning methods. However, it is often required to assemble a large number of CLs, each containing thousands of parameters, in order to reach state-of-the-art accuracy, thus resulting in complex and demanding systems that are poorly fitted to resource-limited devices. Recently, methods have been proposed to replace the generic convolution operator by the combination of a shift operation and a simpler 1x1 convolution. The resulting block, called Shift Layer (SL), is an efficient alternative to CLs in the sense it allows to reach similar accuracies on various tasks with faster computations and fewer parameters. In this contribution, we introduce Shift Attention Layers (SALs), which extend SLs by using an attention mechanism that learns which shifts are the best at the same time the network function is trained. We demonstrate SALs are able to outperform vanilla SLs (and CLs) on various object recognition benchmarks while significantly reducing the number of float operations and parameters for the inference.

研究动机与目标

• 为解决移位网络中固定且手工设计的移位带来的效率低下问题，通过训练过程学习最优移位。
• 在不牺牲准确率的前提下，降低深度学习模型的模型复杂度与FLOPs，适用于资源受限设备。
• 通过整合基于注意力机制的动态移位选择，改进现有的剪枝与压缩技术。
• 证明所学习的移位在标准视觉基准测试中，相比静态移位在准确率与效率方面均表现更优。

提出的方法

• 提出Shift Attention Layers（SALs），利用可学习的注意力机制为每个特征图选择最重要的移位。
• 引入一个注意力张量A，为卷积核中每个移位位置分配重要性分数，其值在反向传播过程中更新。
• 对A应用温度控制的softmax，实现可微分的移位选择，推理时将最终值四舍五入为二值。
• 端到端训练网络，使注意力机制能够学习每个特征图最有效的移位。
• 采用可微分的剪枝策略，每通道仅保留注意力最高的移位，从而将标准卷积有效转换为移位层。
• 使用知识蒸馏与温度调度策略，稳定训练过程并促进注意力值收敛至二值。

实验结果

研究问题

• RQ1 能否使用注意力机制在移位网络中学习最优移位，从而在性能上超越固定的手动设计移位？
• RQ2 基于注意力机制的移位选择是否通过端到端训练，能实现比标准卷积网络和原始移位网络更高的准确率与效率？
• RQ3 温度调度的选择如何影响基于注意力机制的剪枝策略的收敛性与性能？
• RQ4 SALs在保持或提升ImageNet与CIFAR数据集上的Top-1准确率的同时，能在多大程度上减少FLOPs与参数量？
• RQ5 与二值化和轻量化网络架构等其他压缩技术相比，SALs在准确率与内存占用方面表现如何？

主要发现

• 在ImageNet ILSVRC 2012上，SALs实现71%的Top-1准确率，参数量仅330万，FLOPs为5.38亿，优于原始ShiftNet（70.1%）和类似约束下的标准CNN。
• 在CIFAR-10上，使用SALs的ResNet-w64达到93.5%的测试准确率，优于标准ResNet-w64与原始ShiftNet。
• 与标准ResNet-w64相比，SALs将FLOPs降低18%，参数量减少20%，同时保持更高准确率。
• 在ResNet-20上，SALs优于Binary Connect与Binary Weight Networks，实现94.2%的准确率且内存占用更低。
• 温度调度显著影响性能：温度过高或衰减过快会导致收敛不佳；最优调度（初始T ≈ 6.7，最终T ≈ 0.02）可获得最佳结果。
• SAL2（每核保留两个权重）进一步提升准确率，表明学习多个移位具有实际优势。