[논문 리뷰] OPQ: Compressing Deep Neural Networks with One-shot Pruning-Quantization

Peng Hu, Xi Peng외 3명|arXiv (Cornell University)|2022. 05. 23.

Advanced Neural Network Applications인용 수 8

한 줄 요약

이 논문은 사전 훈련된 가중치만을 사용하여 반복적 또는 수동 조정 없이 최적의 프루닝 마스크와 양자화 코드북을 분석적으로 결정하는 새로운 방법인 원샷 프루닝-양자화(OPQ)를 제안한다. OPQ는 채널 단위의 통합된 양자화 방식을 도입하여 레이어당 하나의 코드북을 공유함으로써 오버헤드를 감소시켜, 특히 고압축 수준에서 정확도 손실가장 최소화하면서 최신 기술 수준의 압축률을 달성한다.

ABSTRACT

As Deep Neural Networks (DNNs) usually are overparameterized and have millions of weight parameters, it is challenging to deploy these large DNN models on resource-constrained hardware platforms, e.g., smartphones. Numerous network compression methods such as pruning and quantization are proposed to reduce the model size significantly, of which the key is to find suitable compression allocation (e.g., pruning sparsity and quantization codebook) of each layer. Existing solutions obtain the compression allocation in an iterative/manual fashion while finetuning the compressed model, thus suffering from the efficiency issue. Different from the prior art, we propose a novel One-shot Pruning-Quantization (OPQ) in this paper, which analytically solves the compression allocation with pre-trained weight parameters only. During finetuning, the compression module is fixed and only weight parameters are updated. To our knowledge, OPQ is the first work that reveals pre-trained model is sufficient for solving pruning and quantization simultaneously, without any complex iterative/manual optimization at the finetuning stage. Furthermore, we propose a unified channel-wise quantization method that enforces all channels of each layer to share a common codebook, which leads to low bit-rate allocation without introducing extra overhead brought by traditional channel-wise quantization. Comprehensive experiments on ImageNet with AlexNet/MobileNet-V1/ResNet-50 show that our method improves accuracy and training efficiency while obtains significantly higher compression rates compared to the state-of-the-art.

연구 동기 및 목표

• 기존의 DNN 압축을 위한 프루닝-양자화 방법에서 반복적 또는 수동 조정의 비효율성을 해결하기 위해.
• 사전 훈련된 모델 파rameter만을 사용하여 레이어별로 프루닝 비율과 양자화 코드북을 동시에 분석적으로 결정하기 위해.
• 레이어당 하나의 통합된 코드북을 적용하여 채널 단위의 양자화에 따른 계산 및 하드웨어 오버헤드를 감소시키기 위해.
• 특히 극한의 압축 수준에서 정확도를 손상시키지 않으면서 높은 압축률을 달성하기 위해.
• 압축 모듈을 훈련 중에 고정함으로써 반복 최적화가 필요 없는 비반복적 프레임워크를 제공하여 훈련 효율성을 향상시키기 위해.

제안 방법

• 사전 훈련된 가중치에서 레이어별로 프루닝 비율을 분석적으로 계산하기 위해 라플라스 확률 밀도 함수를 사용하여 통합된 프루닝 오차를 수립한다.
• 반복적인 마스크 최적화 없이도 사전 훈련된 모델에서 직접 크기 기반의 프루닝 마스크를 유도한다.
• 레이어 내 모든 채널이 하나의 양자화기(quantizer)를 공유하는 통합된 채널 단위의 양자화 방법을 제안하여, 개별 채널의 코드북 오버헤드를 제거한다.
• 프루닝된 가중치의 분산을 사용하여 근사된 양자화 오차를 최소화함으로써 레이어당 양자화 단계(Δi)를 분석적으로 계산한다.
• 훈련 중에 프루닝 마스크와 양자화 파rameter를 고정하고, 압축으로 인한 정확도 손실을 상쇄하기 위해 오직 네트워크 가중치만을 업데이트한다.
• 오차 근사 기법을 활용하여 분석적 해법의 타당성을 검증하였으며, 이론적 오차와 실제 프루닝 및 양자화 오차 사이에 강력한 일치를 보였다.

실험 결과

연구 질문

• RQ1 사전 훈련된 가중치만으로도 반복 최적화 없이 프루닝과 양자화 할당을 분석적으로 결정할 수 있는가?
• RQ2 레이어당 하나의 코드북을 공유하는 통합된 채널 단위의 양자화 방식이 오버헤드를 감소시키면서도 높은 압축 효율성을 유지할 수 있는가?
• RQ3 기존 방법보다 정확도 저하 없이 원샷 프루닝-양자화가 더 높은 압축률을 달성할 수 있는가?
• RQ4 실제 모델에서의 프루닝 및 양자화 오차와 비교해 분석적 오차 근사가 얼마나 정확한가?
• RQ5 제안된 방법이 AlexNet, MobileNet-V1, ResNet-50와 같은 다양한 아키텍처에서 극한의 압축 수준에서도 효과적인가?

주요 결과

• OPQ는 AlexNet, MobileNet-V1, ResNet-50를 사용하여 ImageNet에서 최신 기술 수준의 압축률을 달성하였으며, 이는 이전 방법들을 크게 능가한다.
• 매우 높은 압축률에서도 정확도가 향상되는 것을 보여주며, 공격적인 프루닝과 양자화에 대해 뛰어난 강건성을 입증한다.
• 분석적 프루닝 및 양자화 오차 근사가 실제 오차와 매우 유사하게 일치하여, 방법의 이론적 기반을 강력히 검증한다.
• 통합된 채널 단위의 양자화로 기존의 채널 단위 방법 대비 하드웨어 오버헤드를 감소시켜 효율적인 배포를 가능하게 한다.
• 압축 모듈을 훈련 중에 고정함으로써 반복 최적화 방법 대비 훈련 복잡도를 감소시키고 효율성을 향상시킨다.
• 실험을 통해 사전 훈련된 모델만으로도 원샷 방식으로 최적의 프루닝 및 양자화 전략을 결정할 수 있음을 확인하였다.