[논문 리뷰] TensorGPT: Efficient Compression of Large Language Models based on Tensor-Train Decomposition

Mingxue Xu, Yao Xu외 1명|arXiv (Cornell University)|2023. 07. 02.

Topic Modeling인용 수 6

한 줄 요약

이 논문은 GPT-2와 같은 대규모 언어 모델(LLM)의 임bedding 레이어를 압축하기 위한 새로운 방법인 TensorGPT를 제안한다. 텐서트리 분해(TTD)를 사용하여 각 토큰 임베딩을 행렬 곱 상태(MPS)로 간주함으로써, 저랭크 압축을 효율적으로 구현한다. 이 방법은 최대 38.4×의 파라미터 감소를 가능하게 하며, 3.31×의 압축 비율에서도 원본 GPT-2보다 향상된 성능을 달성하여 높은 정밀도와 계산 효율성을 동시에 확보한다.

ABSTRACT

High-dimensional token embeddings underpin Large Language Models (LLMs), as they can capture subtle semantic information and significantly enhance the modelling of complex language patterns. However, this high dimensionality also introduces considerable model parameters and prohibitively high model storage and memory requirements, which is particularly unaffordable for low-end devices. Targeting no extra training data and insufficient computation cases, we propose a training-free model compression approach based on the Tensor-Train Decomposition (TTD), whereby each pre-trained token embedding is converted into a lower-dimensional Matrix Product State (MPS). We then comprehensively investigate the low-rank structures extracted by this approach, in terms of the compression ratio, the language task performance, and latency on a typical low-end device (i.e. Raspberry Pi). Taking GPT family models (i.e. GPT-2 and CerebrasGPT) as case studies, our approach theoretically results in $46.89\%$ fewer parameters of the entire model, with a compression ratio $39.38 imes$ - $65.64 imes$ for the embedding layers. With different hyperparameter choices, the model compressed with our approach can achieve a comparable language task performance to the original model with around $2.0 imes$ embedding layer compression. This empirically proves the existence of low-rank structure in GPT family models, and demonstrates that about half of the parameters in the embedding layers are redundant.

연구 동기 및 목표

• 엣지 디바이스에의 배포를 방해하는 대규모 언어 모델(LLM) 임베딩 레이어의 높은 저장 용량과 파라미터 수를 해결하기 위함.
• 완전한 재계산 없이도 새로운 토큰 등과 같은 증분 업데이트를 지원하는 효율적이고 동적일 임베딩 압축을 가능하게 하기 위함.
• 토큰 임베딩을 효율적으로 저장하고 계산하기 위해 행렬 곱 상태(MPS)를 저랭크 텐서 형식으로 활용하는 방법을 탐색하기 위함.
• 하류의 언어 생성 작업에서 압축된 임베딩의 정밀도와 성능을 평가하기 위함.

제안 방법

• 각 토큰 임베딩을 별개의 텐서로 간주하고, 텐서트리 분해(TTD)를 사용하여 분해하여 행렬 곱 상태(MPS) 표현을 형성한다.
• 임베딩 행렬 전체를 분해하지 않고, 각 행(토큰 임베딩)을 독립적으로 텐서화하고 TT 형식으로 저장하여 국소적 업데이트를 가능하게 한다.
• TT 분해를 통해 고차원 임베딩을 저랭크 텐서의 시퀀스로 표현함으로써 파라미터 수를 감소시킨다.
• 압축된 임베딩은 추론 도중에 분산 텐서 연산을 사용하여 실시간으로 재구성되어 효율적인 계산을 가능하게 한다.
• 사전 학습된 GPT-2 모델의 임베딩 레이어에 직접 TTD를 적용함으로써 재학습을 피한다.
• 재구성 정밀도 평가 지표(MAE, norm-MAE)와 GLUE/MRPC에서의 하류 텍스트 생성 손실을 사용하여 평가한다.

실험 결과

연구 질문

• RQ1 사전 학습이 필요 없이, 텐서트리 분해(TTD)를 사용하여 LLM의 개별 토큰 임베딩을 효과적으로 압축할 수 있는가?
• RQ2 전체 행렬 분해와 비교할 때, 토큰별 임베딩 분해의 압축 정밀도는 재구성 오차 측면에서 어떻게 다른가?
• RQ3 TT 분해를 통한 임베딩 레이어 압축이 하류 언어 생성 성능을 유지하거나 심지어 향상시키는가?
• RQ4 완전한 재계산 없이도 새로운 토큰 추가와 같은 동적 어휘 변경을 효율적으로 처리할 수 있는가?
• RQ5 MPS 기반 압축된 임베딩 형식은 분산 또는 스트리밍 방식으로 효율적으로 계산될 수 있는가?

주요 결과

• 제안된 방법은 GPT-2 임베딩 레이어에 대해 최대 38.40×의 압축 비율을 달성하면서도 높은 재구성 정밀도를 유지하였다.
• 3.31×의 압축 비율에서, 압축된 모델은 원본 GPT-2보다 텍스트 재구성 작업에서 더 높은 성능을 보였으며, 텍스트 생성 손실은 9.01을 기록하였다.
• 토큰 임베딩의 정규화된 평균 절대 오차(norm-MAE)는 낮아서, 압축된 표현의 정밀도가 높다는 것을 시사한다.
• 재구성 오차(MAE)의 시각화 결과는 오차 분포가 균일하지 않음을 보여주었으며, 이는 일부 임베딩 차원이 더 압축에 적합하다는 것을 시사한다.
• 각 토큰 임베딩이 독립적으로 분해되고 저장될 수 있기 때문에, 방법은 동적 어휘에 대한 적응성이 뛰어나다.
• TT 형식이 효율적이고 병렬 처리 가능한 텐서 연산을 지원하므로, 임베딩의 분산 계산이 가능하다.