[论文解读] Lottery Tickets in Linear Models: An Analysis of Iterative Magnitude Pruning

Bryn Elesedy, Varun Kanade+1 more|arXiv (Cornell University)|Jul 16, 2020

Generative Adversarial Networks and Image Synthesis参考文献 24被引用 10

一句话总结

本文在通过梯度流训练的线性模型中分析了迭代幅度剪枝（IMP），表明在温和的设计矩阵条件下，当信号分量的幅度超过噪声水平两倍时，IMP以高概率恢复稀疏信号的支持。关键贡献在于建立了一个理论保证，将IMP的成功与设计矩阵的正交零空间条件及次高斯噪声联系起来，明确了剪枝保留信息特征的条件。

ABSTRACT

We analyse the pruning procedure behind the lottery ticket hypothesis arXiv:1803.03635v5, iterative magnitude pruning (IMP), when applied to linear models trained by gradient flow. We begin by presenting sufficient conditions on the statistical structure of the features under which IMP prunes those features that have smallest projection onto the data. Following this, we explore IMP as a method for sparse estimation.

研究动机与目标

• 通过在更简单的线性模型设置中研究IMP，理解其在神经网络中为何有效。
• 识别特征设计矩阵的充分条件，使得IMP能剪除在数据上投影最小的特征。
• 将IMP视为一种稀疏估计方法，并推导其恢复稀疏信号真实支持的理论保证。
• 建立信号分量幅度高于某一相对于噪声的阈值时，其恢复的高概率边界。
• 将线性模型中的洞见扩展至深层网络中的彩票机制，以增进理解。

提出的方法

• 研究使用梯度流训练随机初始化的权重矩阵的线性模型，然后在每个训练阶段后通过移除最小幅度权重的方式应用迭代幅度剪枝。
• 剪枝过程在算法1中形式化，该算法迭代地将剪枝权重重置为其初始值并重新训练，同时使用掩码矩阵 M 来追踪活跃权重。
• 理论分析依赖于设计矩阵 Σ 的正交零空间条件，以确保剪枝后信号投影仍可保持。
• 该方法将估计误差建模为次高斯噪声 ξ 引起的扰动，并利用次高斯浓度不等式来界定该误差的幅度。
• 关键方程包括梯度流更新 ẇ(t) = -M∇L(w(t)) 和最终权重估计 w(∞) = s + (1/n)(Σ⁺Φᵀξ)，其中 s 为真实信号。
• 利用引理6推导出高概率边界，该引理控制了噪声引起的误差在各特征上的最大偏离。

实验结果

研究问题

• RQ1 在何种设计矩阵条件下，迭代幅度剪枝（IMP）能成功恢复稀疏信号的支持？
• RQ2 信号分量的幅度相对于噪声如何影响其在IMP剪枝过程中被保留的可能性？
• RQ3 IMP能否被解释为一种稀疏估计形式？如果是，可建立何种理论保证？
• RQ4 设计矩阵的正交零空间条件在确保剪枝不会消除信息特征方面起什么作用？
• RQ5 次高斯噪声和样本量如何影响IMP在恢复真实信号方面的可靠性？

主要发现

• 当信号分量的幅度至少为噪声水平 γ 的两倍时，IMP以高概率恢复稀疏信号的支持。
• 当样本数满足 n ≥ (8σ² / (γ²λ_min^≠0)) log(2p/δ) 时，恢复保证以高概率（1−δ）成立，其中 λ_min^≠0 为设计矩阵的最小非零特征值。
• 分析表明，若噪声引起的误差项小于 γ/2，则剪枝不会移除 |s_i| ≥ γ 的特征，该条件在给定样本量下可确保。
• 设计矩阵的正交零空间条件确保即使在剪枝后，信号投影仍可恢复，从而保持信号结构。
• 结果对特征设计具有鲁棒性，并在设计矩阵最小非零特征值有界时可推广至随机特征。
• 理论框架为理解IMP在神经网络中的有效性提供了基础，特别是其选择能改善泛化的归纳偏置的机制。