[论文解读] Adapting by Pruning: A Case Study on BERT

Yang Gao, Nicolò Colombo+1 more|arXiv (Cornell University)|May 7, 2021

Artificial Intelligence in Games参考文献 28被引用 10

一句话总结

本文提出了一种名为“通过剪枝进行微调”的新型模型适配范式，该方法在保留所有剩余权重的前提下剪除预训练 BERT 模型中与任务无关的连接，实现与微调模型相当的性能，同时参数量减少高达 50%。该方法将剪枝建模为可微优化问题，并表明连接恢复——重新激活被剪枝的权重——对于高稀疏度下的性能表现至关重要。

ABSTRACT

Adapting pre-trained neural models to downstream tasks has become the standard practice for obtaining high-quality models. In this work, we propose a novel model adaptation paradigm, adapting by pruning, which prunes neural connections in the pre-trained model to optimise the performance on the target task; all remaining connections have their weights intact. We formulate adapting-by-pruning as an optimisation problem with a differentiable loss and propose an efficient algorithm to prune the model. We prove that the algorithm is near-optimal under standard assumptions and apply the algorithm to adapt BERT to some GLUE tasks. Results suggest that our method can prune up to 50% weights in BERT while yielding similar performance compared to the fine-tuned full model. We also compare our method with other state-of-the-art pruning methods and study the topological differences of their obtained sub-networks.

研究动机与目标

• 通过在资源受限设备上减小模型规模而不重新训练权重，解决微调后 BERT 模型推理成本过高的问题。
• 开发一种重用 BERT 的架构和预训练权重的模型适配范式，避免参数扩展。
• 探究剪枝是否能在不进行微调的情况下生成高性能子网络，尤其是在高稀疏度水平下。
• 分析所剪枝子网络的结构特性和敏感性，与彩票券剪枝和基于大小的剪枝方法进行比较。
• 识别关键机制——尤其是连接恢复——在所提剪枝框架中实现优越性能的作用。

提出的方法

• 将剪枝过程建模为在二值掩码上的可微优化问题，目标是找到能最大化下游任务性能的最优掩码。
• 通过可学习参数 θ 对二值掩码进行连续松弛，实现通过随机梯度下降（SGD）的梯度优化。
• 应用可微稀疏正则化以控制剩余连接的数量，从而在模型效率与性能之间实现权衡。
• 引入一种动态剪枝策略，允许在后续训练步骤中重新激活被剪枝的连接，这与标准的基于大小或彩票券剪枝方法不同。
• 采用两阶段训练流程：第一阶段学习掩码参数 θ；第二阶段将最终掩码应用于预训练权重，并仅微调任务特定层。
• 使用温度控制的 Sigmoid 函数近似二值掩码，从而实现通过掩码选择过程的反向传播。

实验结果

研究问题

• RQ1 在预训练 BERT 模型中剪除与任务无关的连接，是否能在减小模型规模的同时实现与完整微调相当的性能？
• RQ2 在高稀疏度水平下，所提剪枝方法的性能与当前最先进的基于大小的剪枝和彩票券剪枝方法相比如何？
• RQ3 连接恢复——重新激活被剪枝的权重——在实现高性能，尤其是在稀疏子网络中，起到了什么作用？
• RQ4 通过该方法获得的剪枝子网络是否对权重重新初始化和掩码打乱敏感，表明所选连接具有结构性重要性？
• RQ5 是否可以复用同一剪枝子网络于多个任务，仅需极少的微调，从而实现在设备端的高效适配？

主要发现

• 所提方法在 GLUE 基准任务上实现了与完整微调 BERT 相当的性能，同时剪除高达 50% 的模型参数。
• 在稀疏度为 0.99（剪除 99%）时，该方法在 SST-2 上保持 50.9% 的准确率，在 MNLI 上保持 32.8% 的准确率，优于同一稀疏度水平下的其他剪枝方法。
• 通过该方法获得的子网络对权重重新初始化和掩码打乱高度敏感，表明所选连接具有结构性关键性，而非随机分布。
• 在 MNLI 的 0.99 稀疏度子网络中，连接恢复机制涉及 12.3% 的连接，若禁用此机制，性能显著下降，尤其在高稀疏度下更为明显。
• 所提方法与彩票券剪枝之间的性能差距随稀疏度增加而扩大，表明连接恢复是高性能剪枝的关键驱动因素。
• 该方法通过仅下载特定任务的二值掩码，即可在多个任务中复用同一预训练模型，从而降低移动设备上的数据传输和存储成本。