[论文解读] Dynamic Sparse No Training: Training-Free Fine-tuning for Sparse LLMs

Yuxin Zhang, Lirui Zhao+7 more|arXiv (Cornell University)|Oct 13, 2023

Topic Modeling被引用 5

一句话总结

本文提出动态稀疏无训练（DS No T），一种无需训练的稀疏大语言模型（LLM）微调方法，通过迭代、无梯度的权重剪枝与生长提升性能。通过采用期望与方差感知准则最小化稠密与稀疏LLM输出间的重构误差，DS No T 实现了最先进性能——在LLaMA-7B模型上，70%稀疏度下比Wanda低26.79的困惑度，且无需反向传播，时间复杂度为线性。

ABSTRACT

The ever-increasing large language models (LLMs), though opening a potential path for the upcoming artificial general intelligence, sadly drops a daunting obstacle on the way towards their on-device deployment. As one of the most well-established pre-LLMs approaches in reducing model complexity, network pruning appears to lag behind in the era of LLMs, due mostly to its costly fine-tuning (or re-training) necessity under the massive volumes of model parameter and training data. To close this industry-academia gap, we introduce Dynamic Sparse No Training (DSnoT), a training-free fine-tuning approach that slightly updates sparse LLMs without the expensive backpropagation and any weight updates. Inspired by the Dynamic Sparse Training, DSnoT minimizes the reconstruction error between the dense and sparse LLMs, in the fashion of performing iterative weight pruning-and-growing on top of sparse LLMs. To accomplish this purpose, DSnoT particularly takes into account the anticipated reduction in reconstruction error for pruning and growing, as well as the variance w.r.t. different input data for growing each weight. This practice can be executed efficiently in linear time since its obviates the need of backpropagation for fine-tuning LLMs. Extensive experiments on LLaMA-V1/V2, Vicuna, and OPT across various benchmarks demonstrate the effectiveness of DSnoT in enhancing the performance of sparse LLMs, especially at high sparsity levels. For instance, DSnoT is able to outperform the state-of-the-art Wanda by 26.79 perplexity at 70% sparsity with LLaMA-7B. Our paper offers fresh insights into how to fine-tune sparse LLMs in an efficient training-free manner and open new venues to scale the great potential of sparsity to LLMs. Codes are available at https://github.com/zyxxmu/DSnoT.

研究动机与目标

• 解决微调稀疏LLM带来的高计算成本，尽管进行了模型压缩，该问题仍是设备端部署的障碍。
• 通过实现高效、无训练的稀疏LLM适应，弥合学术研究与工业部署之间的差距。
• 克服现有剪枝方法（如SparseGPT和Wanda）在高稀疏度下性能下降的局限性。
• 开发一种无需反向传播或权重更新即可提升稀疏LLM性能的方法，通过最小化重构误差实现。
• 确保在有限校准数据和高稀疏度下的鲁棒性，使稀疏LLM可在资源受限设备上实现实际部署。

提出的方法

• 将动态稀疏训练（DST）的原则应用于稀疏LLM，通过迭代、无梯度的权重剪枝与生长，最小化稠密与稀疏模型输出间的重构误差。
• 提出一种新型剪枝准则，基于权重对重构误差减少的期望值选择删除对象，避免删除关键异常值权重。
• 提出一种生长准则，优先选择具有高重构误差减少期望值且在输入序列间方差低的权重，确保稳定有效的更新。
• 通过少量输入序列的校准阶段估算每个权重增长对重构误差的影响，实现高效、数据驱动的决策。
• 通过避免反向传播并仅依赖前向传播统计量，以线性时间执行算法，使其可扩展至大规模模型。
• 将重构误差最小化建模为动态优化问题，其中稀疏拓扑结构根据每个权重的期望与方差感知影响迭代演化。

Figure 1: Perplexity on WikiText-2 ( left ) and running time ( right ) of different methods for pruning LLaMA-V1 model family at 60% sparsity rate. Without any training, DS \faBan T consistently improves the performance of sparse LLMs, all within a linear time spectrum.

实验结果

研究问题

• RQ1 无训练方法是否能显著提升稀疏LLM性能，且无需反向传播或权重更新？
• RQ2 在高稀疏度下，所提出的DS No T方法与Wanda、SparseGPT等现有剪枝方法相比性能如何？
• RQ3 与基于Hessian或幅值的方法相比，DS No T在有限校准数据下的鲁棒性提升程度如何？
• RQ4 稀疏LLM中迭代剪枝与生长的最优更新调度与停止准则为何？
• RQ5 基于期望与方差感知的剪枝与生长准则是否优于仅基于幅值或二阶方法？

主要发现

• 在LLaMA-7B上，70%稀疏度下DS No T比Wanda低26.79的困惑度，证明其在无训练微调中达到最先进性能。
• 在60%稀疏度下，DS No T在七个下游任务上的平均零样本准确率比SparseGPT高出1.6个百分点，且所有任务均实现一致提升。
• 即使仅使用10组校准序列，该方法仍保持强性能，显著优于SparseGPT，后者在低数据条件下性能急剧下降。
• 最优更新调度采用50轮迭代，重构误差减少阈值为0.1，有效避免对校准数据的欠拟合或过拟合。
• 基于重构误差减少期望值的剪枝策略优于幅值剪枝，凸显保留异常值通道权重的重要性。
• 所提出的生长准则通过平衡期望误差减少与方差，实现最佳性能，证实其在引导动态拓扑演化方面的有效性。

Figure 2: Framework of DS \faBan T .