[논문 리뷰] And the Bit Goes Down: Revisiting the Quantization of Neural Networks

Pierre Stock, Armand Joulin외 3명|arXiv (Cornell University)|2019. 07. 12.

Neural Networks and Applications참고 문헌 46인용 수 68

한 줄 요약

논문은 활성에 초점을 둔 제품 양자화 방법(가중치를 도메인 내 활성에 대해 양자화하기 위해 가중 가중치 k-means)을 제시하여 신경망을 압축하고, ResNet-50과 Mask R-CNN에서 20×–26×의 메모리 감소를 가능하게 하되 정확도는 유지하고 CPU 추론을 가능하게 한다.

ABSTRACT

In this paper, we address the problem of reducing the memory footprint of convolutional network architectures. We introduce a vector quantization method that aims at preserving the quality of the reconstruction of the network outputs rather than its weights. The principle of our approach is that it minimizes the loss reconstruction error for in-domain inputs. Our method only requires a set of unlabelled data at quantization time and allows for efficient inference on CPU by using byte-aligned codebooks to store the compressed weights. We validate our approach by quantizing a high performing ResNet-50 model to a memory size of 5MB (20x compression factor) while preserving a top-1 accuracy of 76.1% on ImageNet object classification and by compressing a Mask R-CNN with a 26x factor.

연구 동기 및 목표

• 합성곱 신경망의 메모리 footprint를 줄여 임베디드/CPU 기기에서의 효율적 배치를 가능하게 한다.
• 가중치가 아닌 활성화(출력) 값을 보존하여 도메인 내 재구성 오류를 최소화한다.
• 비표본 데이터와 증류를 활용해 층별, 순차적으로 양자화 코드북을 학습한다.
• CPU 추론을 지원하고 탐지 작업에 폭넓게 적용 가능한 실용적이고 바이트 정렬된 양자화 스킴을 제공한다.

제안 방법

• 가중치 열을 PQ로 적용하기 위해 각 열을 m개의 부분벡터로 분할하고 부분벡터에 대한 코드북을 학습한다.
• 도메인 내 입력에 대해 ||y − ŷ||^2를 최소화하는 활성화 초점 목표로 표준 가중치 재구성 목표를 대체하며, x를 사용한 E-스텝/최소제곱 업데이트를 통한 M-스텝으로 구현되는 가중된 k-means 형식으로 구현한다.
• 합성곱 계층을 공간적으로 가중치 텐서에 매핑(예: 부분벡터 크기 d = K×K를 사용)하고 활성화를 상응하게 처리하여 부분벡터 간 상관을 극대화한다.
• 레이어를 아래층에서 위층으로 순차적으로 양자화하고, 라벨이 필요 없는 교사 모델로부터의 증류를 사용해 코워드를 미세조정하되 라벨이 필요하지 않도록 한다.
• 레이어별 양자화 이후 모든 코드북과 배치 정규화(BN) 통계를 전역적으로 미세조정하여 드리프트를 줄인다(이미지넷에서 9에폭).
• 재현성을 위한 오픈 소스 코드와 모델을 제공한다(논문에 인용된 GitHub 링크).

실험 결과

연구 질문

• RQ1 활성화 초점 양자화가 도메인 내 정확도 보존에 있어 가중치 중심 양자화보다 우수한가?
• RQ2 표준 ConvNet 아키텍처(예: ResNet-50)에서 최상단 1 정확도를 손상시키지 않으면서 얼마나 많은 메모리를 절약할 수 있는가?
• RQ3 증류를 이용한 순차적 층별 양자화가 복잡한 아키텍처와 탐지 프레임워크(예: Mask R-CNN)에 대해 효과적인가?
• RQ4 코드북 학습과 증류에 비표본 데이터를 사용하면 양자화에서 라벨 데이터가 필요하지 않은가?
• RQ5 제안된 방법이 다양한 예산과 작업에서 동시대의 압축 방법과 비교하면 어떠한가?

주요 결과

• ResNet-50을 5 MB로 압축(20× 감소), 이미지넷에서 세미-지도 학습으로 76.1%의 top-1 정확도 달성.
• Mask R-CNN을 26× 압축(약 6 MB로 축소)하여 비압축 모델과 비교해도 객체 상자 AP 및 마스크 AP가 경쟁력 있음.
• vanilla ResNet-18의 작은 블록 및 큰 블록 설정에서 k=256일 때 top-1이 각각 약 65.81% 및 61.10%로 나타남(약 1.54–1.03 MB 구간에서).
• vanilla ResNet-50의 작은 블록 및 큰 블록 설정에서 k=256일 때 top-1이 각각 약 73.79% 및 68.21%로 나타남(약 5.09–3.19 MB 구간에서).
• Semi-supervised ResNet-50이 약 5.20 MB에서 76.12%의 top-1 정확도를 달성하여 같은 크기 예산의 더 강력한 비압축 기준선의 성능에 근접함.
• 증분 연구는 활성화 인식 양자화가 증류를 통해 표준 PQ나 라벨 기반 파인튜닝을 사용하는 대안보다 일정 예산 하에서 일관되게 우수하다는 것을 시사함.