[논문 리뷰] Position-based Scaled Gradient for Model Quantization and Sparse Training.

Jangho Kim, KiYoon Yoo외 1명|arXiv (Cornell University)|2020. 05. 22.

Advanced Neural Network Applications참고 문헌 24인용 수 6

한 줄 요약

이 논문은 모델 압축을 향상시키기 위해 가중치 벡터의 위치에 따라 기울기를 스케일링하는 Position-based Scaled Gradient (PSG)를 소개한다. 비틀린 가중치 공간에서 경사하강법을 재매aram터화함으로써 PSG는 전체 정밀도 모델과 압축 모델 간의 분포 격차를 줄이는 정규화 역할을 하며, 이는 초저비트 폭에서조차 CIFAR-10/100 및 ImageNet에서 강력한 성능을 보이며 압축 모드와 압축되지 않은 모드 모두에서 원활한 배포를 가능하게 한다.

ABSTRACT

We propose the position-based scaled gradient (PSG) that scales the gradient depending on the position of a weight vector to make it more compression-friendly. First, we theoretically show that applying PSG to the standard gradient descent (GD), which is called PSGD, is equivalent to the GD in the warped weight space, a space made by warping the original weight space via an appropriately designed invertible function. Second, we empirically show that PSG acting as a regularizer to a weight vector is very useful in model compression domains such as quantization and sparse training. PSG reduces the gap between the weight distributions of a full-precision model and its compressed counterpart. This enables the versatile deployment of a model either as an uncompressed mode or as a compressed mode depending on the availability of resources. The experimental results on CIFAR-10/100 and Imagenet datasets show the effectiveness of the proposed PSG in both domains of sparse training and quantization even for extremely low bits.

연구 동기 및 목표

• 양자화 및 희소 학습 중 전체 정밀도 모델과 압축 모델 간의 분포 격차를 해소하기 위해.
• 가중치 분포를 정규화함으로써 압축 모델의 호환성과 성능을 향상시키기 위해.
• 자원 가용성에 따라 압축되지 않은 모드와 압축 모드 모두에서 모델을 유연하게 배포할 수 있도록 하기 위해.
• PSG가 기울기 재가중을 통해 압축 우호성을 향상시킨다는 것을 이론적이고 실증적으로 검증하기 위해.

제안 방법

• PSG는 가중치 공간 내 각 가중치 벡터의 위치를 기반으로 기울기를 스케일링하는 데 사용되는 가역적이고 위치에 의존하는 함수를 사용한다.
• 이 방법은 압축 성질을 향상시키기 위해 설계된 왜곡 함수를 사용하는 왜곡된 가중치 공간에서 표준 경사하강법과 이론적으로 동일하다.
• 기울기 스케일링은 전체 정밀도 모델과 압축 모델 간의 가중치 분포가 일치하도록 유도하는 정규화 역할을 한다.
• 구조적 변경 없이 표준 학습 파이프라인에 통합되기 때문에 광범위하게 적용 가능하다.
• 왜곡 함수는 미분 가능하고 가역적이며, 최적화 경로를 유지하면서도 압축 행동을 향상시킨다.
• PSG는 역전파 동안 적용되어 가중치 위치에 따라 기울기 크기를 조정함으로써 희소성과 양자화 안정성을 증진시킨다.

실험 결과

연구 질문

• RQ1 가중치 위치에 기반한 기울기 스케일링이 전체 정밀도 모델과 압축 모델 간의 분포 격차를 줄일 수 있는가?
• RQ2 PSG는 초저비트 양자화 및 희소 학습에서 모델 성능을 어떻게 향상시키는가?
• RQ3 PSG는 압축되지 않은 모드와 압축 모드 모두에서 모델의 원활한 배포를 가능하게 하는가?
• RQ4 PSG는 ImageNet을 포함한 다양한 데이터셋과 모델 아키텍처에서 효과적인가?
• RQ5 PSG는 아키텍처 수정 없이 표준 학습에 통합될 수 있는가?

주요 결과

• PSG는 전체 정밀도 모델과 양자화 모델 간의 분포 격차를 크게 줄여 압축 환경에서 일반화 성능을 향상시킨다.
• 이 방법은 초저비트 폭에서도 효과적인 모델 압축을 가능하게 하며, CIFAR-10/100 및 ImageNet에서 강력한 성능을 보인다.
• PSG로 학습된 모델는 압축되지 않은 모드와 압축 모드 모두에서 높은 정확도를 유지하여 배포의 유연성을 지원한다.
• PSG는 기울기 재가중을 통해 양자화 및 희소성 제약 하에서 학습을 안정화시키는 정규화 역할을 한다.
• 왜곡된 가중치 공간에서의 경사하강법과의 이론적 동등성은 방법의 최적화 안정성을 확인한다.
• 실증 결과는 기울기 스케일링과 희소 학습 모두에서 일관된 성능 향상을 보이며, 광범위한 적용 가능성을 입증한다.