[論文レビュー] Dynamic Sparse No Training: Training-Free Fine-tuning for Sparse LLMs

Yuxin Zhang, Lirui Zhao+7 more|arXiv (Cornell University)|Oct 13, 2023

Topic Modeling被引用数 5

ひとこと要約

本稿では、勾配フリーの重み pruning と growing を繰り返すことで、再構成誤差を最小化することにより性能を向上させる、トレーニングフリーの微調整手法である Dynamic Sparse No Training (DS No T) を提案する。密度型とスパース型 LLM の出力間の再構成誤差を期待値および分散を考慮した基準で最小化することで、バックプロパゲーションを一切行わず線形時間で動作する DS No T は、LLaMA-7B において 70% のスパarsity で Wanda より perplexity が 26.79 優れているという最先端の結果を達成した。

ABSTRACT

The ever-increasing large language models (LLMs), though opening a potential path for the upcoming artificial general intelligence, sadly drops a daunting obstacle on the way towards their on-device deployment. As one of the most well-established pre-LLMs approaches in reducing model complexity, network pruning appears to lag behind in the era of LLMs, due mostly to its costly fine-tuning (or re-training) necessity under the massive volumes of model parameter and training data. To close this industry-academia gap, we introduce Dynamic Sparse No Training (DSnoT), a training-free fine-tuning approach that slightly updates sparse LLMs without the expensive backpropagation and any weight updates. Inspired by the Dynamic Sparse Training, DSnoT minimizes the reconstruction error between the dense and sparse LLMs, in the fashion of performing iterative weight pruning-and-growing on top of sparse LLMs. To accomplish this purpose, DSnoT particularly takes into account the anticipated reduction in reconstruction error for pruning and growing, as well as the variance w.r.t. different input data for growing each weight. This practice can be executed efficiently in linear time since its obviates the need of backpropagation for fine-tuning LLMs. Extensive experiments on LLaMA-V1/V2, Vicuna, and OPT across various benchmarks demonstrate the effectiveness of DSnoT in enhancing the performance of sparse LLMs, especially at high sparsity levels. For instance, DSnoT is able to outperform the state-of-the-art Wanda by 26.79 perplexity at 70% sparsity with LLaMA-7B. Our paper offers fresh insights into how to fine-tune sparse LLMs in an efficient training-free manner and open new venues to scale the great potential of sparsity to LLMs. Codes are available at https://github.com/zyxxmu/DSnoT.

研究の動機と目的

• モデル圧縮が進んでも、スパース LLM の微調整における高い計算コストが、デバイス内での実装を妨えるという課題に対処する。
• 研究と産業のギャップを埋めるために、効率的でトレーニングフリーのスパース LLM の適応を可能にする。
• SparseGPT や Wanda のような既存の pruning 手法が高スパarsity 時に性能が低下するという限界を克服する。
• バックプロパゲーションや重み更新なしに、再構成誤差最小化に依存することでスパース LLM の性能を向上させる手法を開発する。
• 限られたキャリブレーションデータと高スパarsity に対して頑健であることを保証し、リソース制限のあるデバイス上でのスパース LLM の実用的導入を可能にする。

提案手法

• 再構成誤差を最小化するため、動的スパーストレーニング（DST）の原則をスパース LLM に適応し、勾配フリーの繰り返し pruning と growing を実行する。
• 再構成誤差の低下期待値に基づいて重みを選別する、新規の pruning 基準を導入し、重要なアウ tiers 重みの削除を回避する。
• 再構成誤差低下の期待値が高く、入力シーケンス全体で分散が小さい重みを優先する growing 基準を提案し、安定かつ効果的な更新を実現する。
• 各重みの growing が再構成誤差に与える影響を推定するために、少数の入力シーケンスを用いたキャリブレーションフェーズを導入し、効率的でデータ駆動の意思決定を可能にする。
• バックプロパゲーションを回避し、前方伝搬の統計のみに依存することで、線形時間でアルゴリズムを実行し、大規模モデルへのスケーラビリティを確保する。
• 再構成誤差最小化を動的最適化問題として定式化し、各重みの期待値および分散を考慮した影響に基づいて、スパーストポロジーを段階的に進化させる。

Figure 1: Perplexity on WikiText-2 ( left ) and running time ( right ) of different methods for pruning LLaMA-V1 model family at 60% sparsity rate. Without any training, DS \faBan T consistently improves the performance of sparse LLMs, all within a linear time spectrum.

実験結果

リサーチクエスチョン

• RQ1 バックプロパゲーションや重み更新なしに、トレーニングフリーの手法がスパース LLM の性能を顕著に向上させられるか？
• RQ2 Wanda や SparseGPT といった既存の pruning 手法と比較して、DS No T は高スパarsity 時にどの程度優れた性能を示すか？
• RQ3 Hessian に基づくまたはマグニチュードに基づく手法と比較して、DS No T は限られたキャリブレーションデータに対してどの程度の頑健性を示すか？
• RQ4 スパース LLM における繰り返し pruning と growing の最適な更新スケジュールと停止基準は何か？
• RQ5 期待値および分散を考慮した pruning と growing の基準は、マグニチュードのみまたは2次の手法よりも優れた性能をもたらすか？

主な発見

• LLaMA-7B において 70% スパarsity 時に Wanda より perplexity が 26.79 優れているため、トレーニングフリー微調整分野で最先端の性能を達成した。
• 60% スパarsity 時に、7つの下流タスクにおける平均ゼロショット精度が SparseGPT より 1.6 パcentage point 向上し、全タスクで一貫した向上を示した。
• キャリブレーションシーケンスがたった 10 個でも、DS No T は SparseGPT より顕著に優れた性能を維持した。これは、低データ条件下でも性能が著しく低下しないことを示している。
• 最適な更新スケジュールは 50 サイクル、再構成誤差低下の閾値が 0.1 であり、キャリブレーションデータへのアンダーフィットやオーバーフィットを回避した。
• 再構成誤差低下の期待値に基づく pruning は、マグニチュードベースの pruning よりも優れた結果をもたらし、アウ tiers チャネル重みを保持することが重要であることを示した。
• 期待誤差低下と分散の両方をバランスさせる提案された growing 基準が、最良の性能を達成した。これは、動的トポロジーの進化を効果的に誘導できることを確認した。

Figure 2: Framework of DS \faBan T .