[论文解读] GASL: Guided Attention for Sparsity Learning in Deep Neural Networks

Amirsina Torfi, Rouzbeh A. Shirvani+2 more|arXiv (Cornell University)|Jan 7, 2019

Domain Adaptation and Few-Shot Learning参考文献 52被引用 9

一句话总结

该论文提出了一种通用的、基于注意力机制的稀疏性学习方法——引导注意力稀疏性学习（GASL），通过方差正则化监督剪枝过程，以防止准确率下降，从而在深层神经网络中实现结构化与非结构化稀疏性。该方法在Cifar-100上实现了48%的稀疏性，速度提升2.91倍，且在不同超参数设置下表现稳健，达到当前最先进水平。

ABSTRACT

The main goal of network pruning is imposing sparsity on the neural network by increasing the number of parameters with zero value in order to reduce the architecture size and the computational speedup. In most of the previous research works, sparsity is imposed stochastically without considering any prior knowledge of the weights distribution or other internal network characteristics. Enforcing too much sparsity may induce accuracy drop due to the fact that a lot of important elements might have been eliminated. In this paper, we propose Guided Attention for Sparsity Learning (GASL) to achieve (1) model compression by having less number of elements and speed-up; (2) prevent the accuracy drop by supervising the sparsity operation via a guided attention mechanism and (3) introduce a generic mechanism that can be adapted for any type of architecture; Our work is aimed at providing a framework based on interpretable attention mechanisms for imposing structured and non-structured sparsity in deep neural networks. For Cifar-100 experiments, we achieved the state-of-the-art sparsity level and 2.91x speedup with competitive accuracy compared to the best method. For MNIST and LeNet architecture we also achieved the highest sparsity and speedup level.

研究动机与目标

• 解决深度神经网络中因激进剪枝导致的准确率下降问题。
• 开发一种通用的、与网络架构无关的方法，以同时实现结构化与非结构化稀疏性。
• 通过可解释的注意力机制监督稀疏性学习过程，以监控模型性能。
• 通过增强对稀疏性正则化系数的鲁棒性，减少对大量超参数调优的依赖。
• 即使在极高稀疏度（尤其是超过70%）下，仍保持高模型准确率。

提出的方法

• 提出一种引导注意力机制，利用方差正则化监督剪枝过程中应保留哪些神经元或通道。
• 采用双损失目标函数：标准分类损失加上基于方差的正则化损失，以控制稀疏性动态。
• 引入动态稀疏性系数λs和方差系数α = λv/λs，以平衡剪枝与性能保持。
• 通过模块化注意力模块，适应非结构化（权重级别）与结构化（滤波器/通道/特征图级别）稀疏性。
• 可与现有结构化注意力框架集成，通过性能感知的剪枝引导增强其能力。
• 采用迭代剪枝结合微调策略，在逐步提高稀疏度的同时保持准确率。

实验结果

研究问题

• RQ1 监督式注意力机制是否能有效控制稀疏性，从而防止深层网络中的准确率退化？
• RQ2 在高稀疏度水平（如>70%）下，GASL相较于当前最先进方法的表现如何？
• RQ3 所提出的方法对超参数调优是否具有鲁棒性，特别是对方差正则化系数α？
• RQ4 GASL能否在不同网络架构和稀疏性类型（结构化/非结构化）上通用适用？
• RQ5 基于注意力的监督是否能在不牺牲模型准确率的前提下带来更好的计算加速？

主要发现

• 在Cifar-100上，GASL实现了48%的稀疏性，速度提升2.91倍，错误率仅为25.41%，在高稀疏度下优于基线模型与先前方法。
• 在80%稀疏度下，GASL将准确率下降控制在2.23%，显著优于ℓ1正则化（4.21%）和结构化稀疏性学习方法（2.81%）。
• 该方法在α超参数取值范围[0.01, 100]内表现出强鲁棒性，准确率波动极小，表明对调优不敏感。
• 对于MNIST和LeNet，GASL在所有对比方法中实现了最高的稀疏度与速度提升，验证了其通用性。
• 注意力机制有效引导了剪枝过程，通过保留关键特征，即使在极端稀疏度下也保持性能稳定。
• 该方法维持了模型复杂度，未增加参数数量，尽管引入了方差正则化项。