[논문 리뷰] Matrix Compression via Randomized Low Rank and Low Precision Factorization

Rajarshi Saha, Varun Srivastava외 1명|arXiv (Cornell University)|2023. 10. 17.

Sparse and Compressive Sensing Techniques인용 수 5

한 줄 요약

이 논문은 저밀도 구조와 저정밀도 양자화를 동시에 활용하여 최소한의 정확도 손실로 고압축 비율을 달성하는 행렬 압축 알고리즘인 LPLR(Low-Precision Low-Rank)를 제안한다. 무작위 스케칭을 사용해 저랭크 기반을 계산하고, 기반 벡터를 양자화한 후, 행렬의 열을 이 양자화된 기반에 투영함으로써 LPLR는 행렬 원소당 1비트까지의 圧축 비율을 달성하면서도 이미지 압축, 임bedding 분류, LLaMA-7b 레이어 압축 분야에서 기존 방법보다 우월하거나 동등한 성능을 보인다.

ABSTRACT

Matrices are exceptionally useful in various fields of study as they provide a convenient framework to organize and manipulate data in a structured manner. However, modern matrices can involve billions of elements, making their storage and processing quite demanding in terms of computational resources and memory usage. Although prohibitively large, such matrices are often approximately low rank. We propose an algorithm that exploits this structure to obtain a low rank decomposition of any matrix $\mathbf{A}$ as $\mathbf{A} \approx \mathbf{L}\mathbf{R}$, where $\mathbf{L}$ and $\mathbf{R}$ are the low rank factors. The total number of elements in $\mathbf{L}$ and $\mathbf{R}$ can be significantly less than that in $\mathbf{A}$. Furthermore, the entries of $\mathbf{L}$ and $\mathbf{R}$ are quantized to low precision formats $--$ compressing $\mathbf{A}$ by giving us a low rank and low precision factorization. Our algorithm first computes an approximate basis of the range space of $\mathbf{A}$ by randomly sketching its columns, followed by a quantization of the vectors constituting this basis. It then computes approximate projections of the columns of $\mathbf{A}$ onto this quantized basis. We derive upper bounds on the approximation error of our algorithm, and analyze the impact of target rank and quantization bit-budget. The tradeoff between compression ratio and approximation accuracy allows for flexibility in choosing these parameters based on specific application requirements. We empirically demonstrate the efficacy of our algorithm in image compression, nearest neighbor classification of image and text embeddings, and compressing the layers of LlaMa-$7$b. Our results illustrate that we can achieve compression ratios as aggressive as one bit per matrix coordinate, all while surpassing or maintaining the performance of traditional compression techniques.

연구 동기 및 목표

• 대규모 행렬의 높은 저장 및 계산 비용 문제를 해결하기 위해 그 내재된 저랭크 구조를 활용하고자 한다.
• 저랭크 근사와 인수 행렬의 저정밀도 양자화를 동시에 최적화하는 행렬 압축 방법을 개발하고자 한다.
• 전체 SVD가 GPU 메모리에 맞지 않는 경우에도 실시간 또는 메모리 제약 환경에서 실용적인 압축을 가능하게 하고자 한다.
• 비트 예산 제약 하에서 기존의 난이도 높은 양자화 및 저랭크 방법보다 더 뛰어난 압축 효율성과 정확도를 확보하고자 한다.
• 다양한 응용 분야인 이미지, NLP 및 모델 압축에서 이론적 오차 한계와 실증적 검증을 제공하고자 한다.

제안 방법

• 행렬 A의 근사 범위 기반을 계산하기 위해 가우시안 무작위 스케칭을 사용하여 계산 비용을 O(nd²)에서 O(ndm)로 감소시킨다.
• 좌측 인수 L의 기반 벡터를 저정밀도 형식(예: 1–8비트)으로 양자화함으로써 저장 공간을 줄이고 구조적 정보를 유지한다.
• 최소 제곱 해를 사용해 A의 열들이 양자화된 기반에 투영된 근사 투영을 계산함으로써 우측 인수 R을 구성한다.
• L과 R이 모두 저정밀도 형식으로 저장되는 저랭크 근사 A ≈ LR을 구성함으로써 총 저장 공간을 최소화한다.
• 전체 SVD를 피하기 위해 무작위 알고리즘을 활용하여 GPU 메모리에 담을 수 없는 대규모 행렬에 대한 확장성을 확보한다.
• 워드베리 행렬 항등식을 활용해 스트리밍 환경에서의 증분 업데이트를 가능하게 하여 새로운 데이터 포인트에 대한 온라인 압축을 지원한다.

실험 결과

연구 질문

• RQ1 무작위 스케칭과 저랭크 인수의 저정밀도 양자화를 조합하면 난이도 높은 양자화보다 더 뛰어난 압축 효율성을 달성할 수 있는가?
• RQ2 저정밀도 저랭크 인수분해에서 목표 랭크, 양자화 비트 예산, 근사 오차 사이의 상호 상관 관계는 어떠한가?
• RQ3 실세계 응용 분야인 이미지 압축, 임베딩 기반 최근접 이웃 검색, LLM 레이어 압축에서 LPLR의 성능은 어떠한가?
• RQ4 전체 SVD가 계산적으로 불가능한 상황에서 LPLR가 직접 SVD 기반 양자화보다 우월한 조건은 무엇인가?
• RQ5 양자화된 저랭크 구조가 하류 작업에서 일반화 성능을 향상시키는 정규화 효과를 제공하는가?

주요 결과

• LPLR는 원소당 1비트까지의 최저 압축 비율을 달성하여, 저장 공간 효율성에서 난이도 높은 양자화를 크게 능가하면서도 정확도를 유지하거나 향상시킨다.
• 이미지 압축에서 LPLR는 2비트 정밀도에서도 직접 SVD 양자화(DSVD) 및 난이도 높은 양자화보다 더 우수한 의미적 특징 보존 성능을 보였다.
• 이미지 및 텍스트 임베딩 데이터셋에서 LPLR는 근접 이웃 분류 작업에서 기준 방법보다 정확도를 유지하거나 초월하였다.
• LLaMA-7b 모델 레이어의 경우 LPLR는 최소한의 성능 저하로 고압축을 달성하여 대규모 언어 모델 압축의 실현 가능성을 입증하였다.
• 이론적 오차 한계는 근사 오차가 尾부 특이값의 합과 양자화 오차에 비례함을 보여주어 방법의 강인성을 검증하였다.
• 메모리 제약 환경에서 전체 SVD가 GPU 메모리 한계로 인해 불가능한 경우 LPLR는 오직 유일한 실현 가능한 선택이었으며, SVD 기반 대안보다 뛰어난 성능을 보였다.