[논문 리뷰] Position-based Scaled Gradient for Model Quantization and Pruning

Jangho Kim, KiYoon Yoo외 1명|arXiv (Cornell University)|2020. 05. 22.

Advanced Neural Network Applications인용 수 14

한 줄 요약

이 논문은 위치 기반 스케일링 그래디언트(PSG)를 제안한다. PSG는 가중치의 위치에 따라 그래디언트를 스케일링하여 압축 우호적인 최소값으로 향하도록 훈련을 이끄는 새로운 정규화 방법이다. 재학습 없이도 후행 양자화 및 프루닝에 적합한 고정밀도 모델을 만들 수 있도록 하여, 고정밀도와 저밀도 가중치 간의 분포 격차를 줄이며, CIFAR-100과 ImageNet에서 4비트 양자화에서도 최신 기술 수준의 성능을 달성한다.

ABSTRACT

We propose the position-based scaled gradient (PSG) that scales the gradient depending on the position of a weight vector to make it more compression-friendly. First, we theoretically show that applying PSG to the standard gradient descent (GD), which is called PSGD, is equivalent to the GD in the warped weight space, a space made by warping the original weight space via an appropriately designed invertible function. Second, we empirically show that PSG acting as a regularizer to a weight vector is favorable for model compression domains such as quantization and pruning. PSG reduces the gap between the weight distributions of a full-precision model and its compressed counterpart. This enables the versatile deployment of a model either as an uncompressed mode or as a compressed mode depending on the availability of resources. The experimental results on CIFAR-10/100 and ImageNet datasets show the effectiveness of the proposed PSG in both domains of pruning and quantization even for extremely low bits. The code is released in Github.

연구 동기 및 목표

• 후행 양자화의 효율성을 저해하는 고정밀도와 양자화된 가중치 분포 간의 근본적인 분포 격차를 해소한다.
• 재학습이나 데이터 접근 없이도 단일 모델을 고정밀도 및 압축 모드에서 유연하게 배포할 수 있도록 한다.
• 특정 목표점으로 수렴하도록 정규화하여, 저비트 양자화 및 프루닝에 적합한 가중치를 내재적으로 생성하는 훈련 방법을 개발한다.
• 기존의 양자화 인식 훈련(QAT) 및 후행 양자화(PTQ) 방법에 비해 추가 정밀조정이나 데이터가 필요 없는 이론적으로 타당한 대안을 제공한다.
• PSGD가 양자화 및 프루닝에 더 잘 맞는 더 날카운 최소값을 찾을 수 있음을 보여준다.

제안 방법

• 현재 가중치와 그 목표 양자화 값(예: 4비트 격자점 중 가장 가까운 점) 사이의 L2 거리에 따라 그래디언트를 스케일링하는 위치 기반 스케일링 그래디언트(PSG)를 도입한다.
• 표준 그래디언트 대신 PSG를 사용하는 확률적 경사 하강법을 PSGD로 정의하며, 이는 가중치를 압축 우호적인 위치로 정규화하는 데 효과적이다.
• PSGD가 가중치 공간을 왜곡한 영역에서 표준 SGD와 동일하다는 것을 이론적으로 증명한다. 이 왜곡 함수는 가역적이며, 목표 격자점으로 가중치를 끌어당기도록 설계되어 있다.
• 원래의 가중치 공간을 가역적이며 미분 가능한 함수로 왜곡하여, 원래 공간에서의 그래디언트 업데이트가 왜곡된 공간에서의 표준 경사 하강법에 해당하도록 한다.
• 프루닝의 경우 목표점은 0으로 설정되며, 이는 위치 기반 그래디언트 스케일링을 통해 가중치를 0으로 정규화함으로써 희박한 훈련을 가능하게 한다.
• 초기 훈련 동안 PSGD를 적용하여 고정밀도 모델을 생성함으로써, 높은 정확도를 유지하면서도 저비트 형식으로 직접 양자화 가능한 모델을 확보한다.

실험 결과

연구 질문

• RQ1 가중치 위치 기반 그래디언트 스케일링이 고정밀도와 저밀도 모델 간의 분포 격차를 줄일 수 있는가?
• RQ2 PSGD는 표준 SGD보다 양자화 및 프루닝에 더 잘 맞는 최소값을 찾는가?
• RQ3 PSGD로 훈련된 모델은 추가 정밀조정 없이도 고정밀도 및 저밀도 모드에서 높은 정확도를 달성할 수 있는가?
• RQ4 정확도 및 배포 유연성 측면에서 기존 QAT 및 PTQ 방법과 비교해 PSGD는 어떤가?
• RQ5 PSGD는 매우 낮은 비트 양자화(예: 4비트) 및 구조적 프루닝에 효과적인가?

주요 결과

• Figure 1(b)에서 보듯이, PSGD는 고정밀도와 4비트 양자화된 가중치 간의 분포 격차를 줄이며, PSGD로 훈련된 모델의 가중치 분포가 저밀도 모델과 유사해진다.
• CIFAR-100에서 PSGD는 4비트 가중치 및 활성화 양자화(W4A4) 시 66.5%의 상위-1 정확도를 달성하며, 사전 훈련된 모델로 사용했을 때 표준 SGD 및 동시점 PTQ 방법보다 뛰어난 성능을 보였다.
• LAPQ PTQ 방법과 조합했을 때, PSGD 사전 훈련 모델은 ImageNet W4A4에서 66.5%의 정확도를 기록했으며, LAPQ 전용(60.3%) 및 PSGD 전용(63.3%)보다 각각 3.1점과 6.2점 높은 성능을 보였다.
• PSGD로 훈련된 모델은 표준 SGD보다 더 날카운 최소값을 보이며, 헤시안 행렬에서 λ > 10⁻³ 인 큰 양의 고유값이 9배 많다. 이는 더 날카운 골짜기로 수렴함을 시사한다.
• 이 방법은 자원이 제한된 환경에서 재학습이나 데이터 접근 없이도 단일 모델을 고정밀도 및 압축 모드로 직접 배포할 수 있도록 한다.
• PSGD는 가중치 양자화 및 크기 기반 프루닝 모두에 효과적이며, 이는 모델 압축을 위한 통합 정규화 접근법으로서의 유연성을 보여준다.