[论文解读] A Generalized Lottery Ticket Hypothesis

Ibrahim Alabdulmohsin, Larisa Markeeva+2 more|arXiv (Cornell University)|Jul 3, 2021

Face and Expression Recognition参考文献 14被引用 4

一句话总结

本文提出了广义彩票券假说（GLTH），将原始的彩票券假说从无结构稀疏性扩展到参数空间中的任意正交参数基。通过使用自定义字典（如DCT或单位基）重新定义稀疏性，该研究证明了结构化剪枝（例如移除输入像素或低秩分解）可在保持模型精度的同时实现高倍压缩，且在CIFAR10上使用基于DCT的剪枝方法可实现高达98%的参数减少。

ABSTRACT

We introduce a generalization to the lottery ticket hypothesis in which the notion of "sparsity" is relaxed by choosing an arbitrary basis in the space of parameters. We present evidence that the original results reported for the canonical basis continue to hold in this broader setting. We describe how structured pruning methods, including pruning units or factorizing fully-connected layers into products of low-rank matrices, can be cast as particular instances of this "generalized" lottery ticket hypothesis. The investigations reported here are preliminary and are provided to encourage further research along this direction.

研究动机与目标

• 将彩票券假说从无结构稀疏性扩展至参数空间中的任意正交基。
• 探究彩票券式的“胜出票券”是否不仅存在于标准基中，也存在于其他基（如DCT或基于单位的字典）中。
• 证明结构化剪枝方法（如单元剪枝或低秩分解）可统一于该广义框架之下。
• 展示迭代幅度剪枝（IMP）可被适配至非标准基，以实现高倍压缩且精度损失最小。
• 鼓励进一步研究与基无关的彩票券现象，以实现高效模型压缩。

提出的方法

• 将字典 $\mathcal{D} = \{v_1, \dots, v_d\}$ 定义为 $d$ 维参数空间中的正交基，通过权重向量在 $\mathcal{D}$ 表示下的非零系数数量来重新定义稀疏性。
• 提出广义彩票券假说（GLTH）：对于任意字典 $\mathcal{D}$，存在一个极小子集 $\mathcal{D}' \subset \mathcal{D}$，满足 $|\mathcal{D}'| \ll d$，使得在 $\text{Span}(\mathcal{D}')$ 上进行训练可获得与原始训练相当的测试精度。
• 将迭代幅度剪枝（IMP）算法适配至广义基中：在每一步中，移除使当前权重向量与其在剩余子空间上的投影之间欧氏距离最小化的基向量。
• 通过使用特定字典将该方法应用于结构化剪枝：使用单位矩阵剪枝输入单元（如像素），使用DCT基实现全连接层的低秩分解。
• 对于低秩分解，将权重矩阵 $\mathbf{W} \in \mathbb{R}^{d_{\text{in}} \times d_{\text{out}}}$ 表示为 $\mathbf{W} = \mathbf{U}'\mathbf{C}'$，其中 $\mathbf{U}'$ 是正交矩阵 $\mathbf{U}$ 的剪枝列子集，$\mathbf{C}'$ 为训练得到的系数。
• 使用相同的IMP过程迭代地从 $\mathbf{U}$ 中移除列，保持低秩结构并支持高效推理。

实验结果

研究问题

• RQ1 当稀疏性不再由零参数定义，而是由参数空间中的其他正交基定义时，彩票券现象是否仍然存在？
• RQ2 能否将结构化剪枝方法（如移除整个输入像素或将层分解为低秩矩阵）统一于单一理论框架之下？
• RQ3 当应用于非标准基（如DCT基）时，迭代幅度剪枝（IMP）是否仍具有效性？
• RQ4 在使用特定基的稀疏性时，能否实现高倍压缩率（如95%或以上）且精度损失最小？
• RQ5 使用特定基的剪枝（特别是支持低秩分解或输入剪枝时）在计算和内存方面有何优势？

主要发现

• 广义彩票券假说在实证上成立：胜出票券不仅存在于标准基中，也存在于DCT和单位矩阵等其他正交基中。
• 使用DCT基进行剪枝时，模型在剪除第一层全连接层中98%参数的同时，仍保持约52%的CIFAR10测试精度。
• 使用基于单位的字典时，模型在仅保留约150个输入像素-通道值（占3072个总数的约5%）的情况下，仍保持约52%的精度，相当于移除了整个输入坐标。
• 剪枝后的模型实现了高倍压缩且精度损失极小，表明基的选择显著影响可实现的压缩率。
• 通过DCT基剪枝实现的低秩分解支持高效推理，因为当 $m \ll \min(d_{\text{in}}, d_{\text{out}})$ 时，$\mathbf{W} = \mathbf{U}'\mathbf{C}'$ 的结构支持更快的矩阵乘法。
• 适配至非标准基的IMP算法成功识别出稀疏且高性能的子空间，验证了广义框架的有效性。