[論文レビュー] ShortGPT: Layers in Large Language Models are More Redundant Than You Expect

Xin Men, Mingyu Xu+6 more|arXiv (Cornell University)|Mar 6, 2024

Topic Modeling被引用数 15

ひとこと要約

ShortGPTはLLMにおける層レベルの著しい冗長性を示し、低BI層を削除してモデルを剪定し、約25%のパラメータ数と計算量を減らしつつほとんどの性能を維持し、量子化とは直交している。

ABSTRACT

As Large Language Models (LLMs) continue to advance in performance, their size has escalated significantly, with current LLMs containing billions or even trillions of parameters. However, in this study, we discovered that many layers of LLMs exhibit high similarity, and some layers play a negligible role in network functionality. Based on this observation, we define a metric called Block Influence (BI) to gauge the significance of each layer in LLMs. We then propose a straightforward pruning approach: layer removal, in which we directly delete the redundant layers in LLMs based on their BI scores. Experiments demonstrate that our method, which we call ShortGPT, significantly outperforms previous state-of-the-art (SOTA) methods in model pruning. Moreover, ShortGPT is orthogonal to quantization-like methods, enabling further reduction in parameters and computation. The ability to achieve better results through simple layer removal, as opposed to more complex pruning techniques, suggests a high degree of redundancy in the model architecture.

研究の動機と目的

• 大規模言語モデルにはパラメータレベルの冗長性を超える層レベルの冗長性があるかを調査する。
• LLMにおける各層の重要性を定量化する指標（Block Influence, BI）を開発する。
• BIに導かれた単純な層削除剪定法を提案・評価する。
• 層剪定は量子化と直交しており、他の圧縮手法を補完できることを示す。
• 層剪定の制限と適用範囲をベンチマークとモデルに跨って評価する。

提案手法

• 推論中に層が隠れ状態をどの程度変換するかを測る指標としてBlock Influence（BI）を定義する。
• キャリブレーションセットから収集した隠れ状態を用いてBIを較正し、BIで層をランク付けする。
• BIスコアが最小の層を削除して層を削除する（BIが小さいほど剪定対象）。
• 標準ベンチマーク（MMLU、CMMLU など）を横断する複数のオープンソースLLMで剪定後のモデルを評価する。
• BIに基づく剪定と他の最先端剪定法を比較し、深さと幅の冗長性を分析する。
• 量子化に対する直交性を示すため、剪定を量子化済みのLlama-2-7B-Baseモデルに適用する。

実験結果

リサーチクエスチョン

• RQ1 BI指標を用いてLLMで層レベルの冗長性を信頼性高く測定できるか？
• RQ2 異なるモデルやタスクで低BI層を削除した場合、どれくらいの性能が保持されるか？
• RQ3 現在のLLMアーキテクチャにおいて、層剪定は主に深さベースか幅ベースか？
• RQ4 BIに導かれた層削除は量子化手法を補完してさらなるフットプリント削減に寄与するか？

主な発見

LLM	Method	Ratio	Benchmarks	Ave.	Perl.	CMNLI	HeSw	PIQA	CHID	WSC	CoQA	BoolQ	Race-H	Race-M	XSum	C3	MMLU	CMMLU
Llama2-7B	Dense	0.00%	32.99	71.26	77.91	41.66	50.00	64.62	71.62	35.71	34.19	19.40	43.56	45.39	32.92	44.52	100.00
Llama2-7B	LLMPrun.	27.0%	34.33	56.46	71.22	25.25	36.54	42.51	55.20	22.56	22.35	11.51	25.64	23.33	25.25	32.84	73.76
Llama2-7B	SliceGPT	26.4%	31.70	50.27	66.21	20.79	36.54	41.36	38.32	21.07	21.66	4.89	39.78	28.92	25.37	32.84	73.76
Llama2-7B	LaCo	27.1%	34.43	55.69	69.80	36.14	40.38	45.70	64.07	22.61	23.61	15.64	39.67	26.45	25.24	38.41	86.28
Llama2-7B	ShortGPT	27.1%	32.95	53.02	66.43	24.68	52.46	47.99	74.71	32.25	35.17	0.67	39.62	43.96	32.25	42.60	95.69
Llama2-13B	Dense	0.00%	32.99	74.78	79.71	47.35	50.00	66.91	82.39	57.95	60.38	23.45	47.51	55.00	38.40	51.91	100.00
Llama2-13B	LLMPrun.	24.4%	33.03	67.76	76.66	35.64	40.38	50.86	56.42	22.47	22.08	19.17	32.33	25.21	24.71	38.97	75.07
Llama2-13B	SliceGPT	23.6%	29.82	55.71	69.04	19.31	36.54	47.26	37.86	23.41	24.03	5.27	41.92	37.14	25.79	34.84	67.11
Llama2-13B	LaCo	24.6%	32.86	64.39	74.27	40.10	52.88	52.66	63.98	54.49	56.55	14.45	44.93	45.93	32.62	48.30	93.05
Llama2-13B	ShortGPT	24.6%	33.00	66.64	73.45	36.61	50.00	58.64	62.48	58.35	60.17	17.59	46.90	54.69	38.38	50.53	97.34
Baichuan2-7B	Dense	0.00%	33.37	67.56	76.17	85.56	50.00	63.14	74.10	26.96	24.09	20.82	64.55	53.87	56.95	53.63	100.00
Baichuan2-7B	LLMPrun.	24.2%	32.28	53.66	71.82	69.80	53.85	47.83	61.19	21.96	22.28	15.98	41.64	24.93	25.69	41.76	77.87
Baichuan2-7B	SliceGPT	22.2%	32.07	25.29	50.33	14.85	36.54	19.57	39.30	23.53	22.49	0.00	26.58	25.18	25.25	26.23	56.38
Baichuan2-7B	LaCo	24.2%	33.00	52.28	68.50	76.24	42.31	47.26	56.15	28.99	27.72	12.03	50.85	31.53	31.24	42.93	80.05
Baichuan2-7B	ShortGPT	24.2%	33.30	56.96	67.68	65.63	50.00	46.70	67.83	53.26	46.76	0.04	56.33	45.77	47.87	49.08	91.52
Baichuan2-13B	Dense	0.00%	33.21	71.10	78.07	86.51	50.00	65.6	77.89	67.27	68.94	25.02	65.64	59.50	61.30	62.31	100.00
Baichuan2-13B	LLMPrun.	24.3%	33.80	53.57	71.82	72.77	37.50	38.82	56.54	21.17	21.61	13.67	39.89	23.19	25.18	39.20	62.91
Baichuan2-13B	SliceGPT	22.8%	32.07	25.85	51.03	10.40	36.54	18.02	37.83	21.56	21.52	0.00	24.99	22.95	25.26	25.03	40.17
Baichuan2-13B	LaCo	24.7%	33.03	60.71	68.88	76.73	44.23	55.45	62.35	56.92	57.80	12.32	61.10	51.35	53.65	53.43	85.75
Baichuan2-13B	ShortGPT	24.7%	32.81	60.55	71.60	80.17	47.13	54.30	62.54	55.77	56.41	15.14	60.16	52.11	58.86	54.43	87.33

• LLMsは層レベルの冗長性を大きく示し、特に深い層で顕著である。
• BI（Block Influence）は層の重要性を効果的に捉え、剪定を導く。
• ShortGPTは約92%の性能を維持しつつ約25%のパラメータと計算を削減し、従来の剪定法を上回る。
• 層削除（深さ剪定）は埋め込み次元剪定のような幅削減手法よりも優れる傾向がある。
• 剪定手法は量子化と直交しており、さらなる圧縮のために量子化と組み合わせることができる。
• 冗長性はTransformerベースのモデルだけでなくRWKVのような非Transformerアーキテクチャにも観察される。