[论文解读] Coarsening the Granularity: Towards Structurally Sparse Lottery Tickets

Tianlong Chen, Xuxi Chen+3 more|arXiv (Cornell University)|Feb 9, 2022

Generative Adversarial Networks and Image Synthesis被引用 5

一句话总结

本论文提出了一种新方法，首次发现具有硬件友好性的结构化稀疏彩票——即在通道级和组级具有稀疏结构的获胜子网络——通过在通过迭代幅度剪枝（IMP）找到的非结构化获胜彩票上应用后处理技术（重新填充和重新分组），实现该目标。该方法在 ImageNet 上实现 36–80% 的稀疏度下，推理速度最高提升 64.93%，且准确率无下降，可在标准 GPU 上实现实际加速。

ABSTRACT

The lottery ticket hypothesis (LTH) has shown that dense models contain highly sparse subnetworks (i.e., winning tickets) that can be trained in isolation to match full accuracy. Despite many exciting efforts being made, there is one "commonsense" rarely challenged: a winning ticket is found by iterative magnitude pruning (IMP) and hence the resultant pruned subnetworks have only unstructured sparsity. That gap limits the appeal of winning tickets in practice, since the highly irregular sparse patterns are challenging to accelerate on hardware. Meanwhile, directly substituting structured pruning for unstructured pruning in IMP damages performance more severely and is usually unable to locate winning tickets. In this paper, we demonstrate the first positive result that a structurally sparse winning ticket can be effectively found in general. The core idea is to append "post-processing techniques" after each round of (unstructured) IMP, to enforce the formation of structural sparsity. Specifically, we first "re-fill" pruned elements back in some channels deemed to be important, and then "re-group" non-zero elements to create flexible group-wise structural patterns. Both our identified channel- and group-wise structural subnetworks win the lottery, with substantial inference speedups readily supported by existing hardware. Extensive experiments, conducted on diverse datasets across multiple network backbones, consistently validate our proposal, showing that the hardware acceleration roadblock of LTH is now removed. Specifically, the structural winning tickets obtain up to {64.93%, 64.84%, 60.23%} running time savings at {36%~80%, 74%, 58%} sparsity on {CIFAR, Tiny-ImageNet, ImageNet}, while maintaining comparable accuracy. Code is at https://github.com/VITA-Group/Structure-LTH.

研究动机与目标

• 为解决非结构化彩票在硬件上效率低下的实际限制，因其不规则的稀疏模式导致性能瓶颈。
• 探究结构化稀疏子网络是否仍可作为获胜彩票，在从初始化训练时达到与完整模型相当的准确率。
• 开发一种后处理框架，将非结构化获胜彩票转换为结构化稀疏形式，且不造成性能下降。
• 通过引入通道级和组级结构模式，使彩票子网络可在标准 GPU 架构上实现硬件加速。
• 证明结构化稀疏性可实现而不损失彩票假设的核心优势，如高稀疏度和从初始化可训练性。

提出的方法

• 应用迭代幅度剪枝（IMP）以识别出高稀疏度且准确率完整的非结构化获胜彩票。
• 使用重新填充技术恢复最重要通道中的剪枝权重，形成通道级结构稀疏性。
• 基于超图划分设计的重新分组算法，将非零元素重组为灵活的、分组的密集块，实现组级结构稀疏性。
• 从原始随机初始化重新训练所得的结构化子网络，以验证其是否为真正的获胜彩票。
• 采用两阶段流程：首先进行非结构化剪枝，然后通过重新填充和重新分组进行后处理，以强制实现结构模式。
• 在多种数据集（CIFAR-10、CIFAR-100、Tiny-ImageNet、ImageNet）和网络架构（VGG-16、ResNet-18）上评估性能。

实验结果

研究问题

• RQ1 具有特定结构的稀疏子网络——特别是通道级和组级结构模式——是否仍可作为获胜彩票，在从初始化训练时达到原始密集模型的准确率？
• RQ2 在 IMP 框架中，若将非结构化剪枝替换为结构化剪枝，是否会造成性能严重下降，导致无法找到获胜彩票？
• RQ3 在非结构化 IMP 之后应用的后处理技术，是否能成功将子网络转化为结构化稀疏形式，且不损失准确率或加速潜力？
• RQ4 在不依赖专用加速器的前提下，结构化稀疏获胜彩票在标准 GPU 硬件上可实现多大程度的硬件加速？
• RQ5 不同初始非结构化掩码（例如来自 IMP、GraSP、SynFlow）对最终结构化子网络性能有何影响？

主要发现

• 所提出的 IMP-Regroup 方法在 ImageNet 上实现 36–80% 稀疏度下，最高可节省 64.93% 的 GPU 运行时间，且准确率无下降。
• 组级结构获胜彩票在 VGG-16 的最后几层实现最高达 6.67 倍的层内加速，尤其在高压缩比下表现更优。
• 在高稀疏度下，IMP-Regroup 在 VGG-16/CIFAR-100 上实现 60.60% 的速度提升，在 ResNet-18/CIFAR-100 上实现 55.45% 的速度提升，优于 IMP-Refill(+) 和 IMP。
• 重新填充技术成功识别并恢复关键通道，实现通道级结构稀疏获胜彩票，在中等稀疏度下实现约 50% 的运行时间节省。
• 基于超图划分的重新分组算法可实现灵活且高压缩比的组级结构模式，适用于标准 GPU 上的加速。
• IMP 和 OMP 生成的初始非结构化掩码质量最高，使最终结构化子网络性能更优。