[논문 리뷰] Towards the Limit of Network Quantization

Yoojin Choi, Mostafa El‐Khamy외 1명|arXiv (Cornell University)|2016. 12. 05.

Advanced Image and Video Retrieval Techniques참고 문헌 25인용 수 62

한 줄 요약

이 논문은 압축 비율 제약 조건 하에서 성능 손실를 최소화하기 위해 히세안 행렬을 가중치로 사용하는 k-means 군집화와 엔트로피 제약 스칼라 양자화(ECSQ)를 제안한다. 히세안 행렬을 사용해 양자화 오차를 가중하고 허프만 부호화를 적용함으로써, LeNet에서는 51.25×, ResNet에서는 22.17×, AlexNet에서는 40.65×의 압축 비율을 달성하면서 정확도 손실가 거의 없이 성능을 유지한다.

ABSTRACT

Network quantization is one of network compression techniques to reduce the redundancy of deep neural networks. It reduces the number of distinct network parameter values by quantization in order to save the storage for them. In this paper, we design network quantization schemes that minimize the performance loss due to quantization given a compression ratio constraint. We analyze the quantitative relation of quantization errors to the neural network loss function and identify that the Hessian-weighted distortion measure is locally the right objective function for the optimization of network quantization. As a result, Hessian-weighted k-means clustering is proposed for clustering network parameters to quantize. When optimal variable-length binary codes, e.g., Huffman codes, are employed for further compression, we derive that the network quantization problem can be related to the entropy-constrained scalar quantization (ECSQ) problem in information theory and consequently propose two solutions of ECSQ for network quantization, i.e., uniform quantization and an iterative solution similar to Lloyd's algorithm. Finally, using the simple uniform quantization followed by Huffman coding, we show from our experiments that the compression ratios of 51.25, 22.17 and 40.65 are achievable for LeNet, 32-layer ResNet and AlexNet, respectively.

연구 동기 및 목표

• 양자화 오차가 네트워크 손실에 미치는 영향을 忽시하는 전통적인 k-means 군집화의 비최적성 문제를 해결한다.
• 고정된 압축 비율 제약 조건 하에서, 히세안 행렬을 통해 오차 영향을 모델링함으로써 양자화로 인한 성능 손실를 최소화한다.
• 정보이론에서의 엔트로피 제약 스칼라 양자화(ECSQ)와 네트워크 양자화 간의 이론적 연결 고리를 구축한다.
• 모든 네트워크 레이어를 동시에 공동으로 양자화함으로써, 계층별 최적화를 피하고 압축 효율을 향상시킨다.
• 실제 구현을 위해 아담 옵timizer의 기울기 이차모멘트 추정치를 활용해 히세안 행렬의 저비용 대체 방법을 제공한다.

제안 방법

• 히세안 행렬을 사용해 손실 변화에 대한 매개변수 민감도를 측정함으로써, 히세안 가중 편차를 최소화하는 네트워크 양자화 문제로 공식화한다.
• 높은 영향도를 가진 매개변수는 낮은 오차로 양자화되도록 하는 히세안 가중 k-means 군집화를 제안한다.
• 압축 비율 제약 조건 하에서의 양자화 문제를, 허프만 부호화와 같은 최적의 가변 길이 부호를 사용할 경우 엔트로피 제약 스칼라 양자화(ECSQ) 문제로 재정의한다.
• ECSQ에 대한 두 가지 휴리스틱 해법을 제안한다: 균일 양자화와 라이드 알고리즘 기반 반복 알고리즘.
• 학습 중에 아담 옵티마이저에서 제공하는 기울기 이차모멘트 추정치의 제곱근을 사용해 저비용의 히세안 행렬 근사치를 도출한다. 이는 추가 비용 없이도 이용 가능하다.
• 모든 네트워크 레이어를 동시에 공동으로 양자화함으로써, 각 레이어의 압축률 조정 없이 전역 최적화를 가능하게 한다.

실험 결과

연구 질문

• RQ1 고정된 압축 비율 제약 조건 하에서 딥 네트워크의 양자화 오차를 어떻게 최적화할 수 있는가?
• RQ2 네트워크 손실에 대한 영향을 반영하는 데 적절한 양자화 오차 가중치 기준은 무엇인가?
• RQ3 네트워크 양자화 문제는 정보이론적 데이터 압축 문제인 ECSQ와 공식적으로 연결될 수 있는가?
• RQ4 모든 레이어를 동시에 공동으로 양자화하는 것과 계층별로 양자화하는 것의 성능 및 압축 효율성은 어떻게 비교되는가?
• RQ5 정확도를 손상시키지 않고도 히세안 행렬의 저비용 대체 방법을 양자화에 효과적으로 적용할 수 있는가?

주요 결과

• 히세안 가중 k-means 군집화는 고정 길이 부호를 사용할 경우 기존 k-means보다 성능 손실를 더 효과적으로 줄인다.
• 허프만 부호화와 결합할 경우, 균일 양자화와 반복적 ECSQ 알고리즘이 히세안 가중 k-means를 초월한다. 이는 가변 길이 부호에 최적화되어 있기 때문이다.
• 히세안을 추정하기 위해 1,000개의 샘플만 사용해도 전체 배치 추정치와 거의 동일한 성능를 달성할 수 있어 효율적인 계산이 가능하다.
• 기울기 이차모멘트 추정치의 제곱근은 추가 학습 비용 없이도 히세안 행렬에 매우 효과적인 저비용 대체 방법이며, 성능도 동일하다.
• 모든 레이어를 동시에 공동으로 양자화함으로써, LeNet에서는 51.25×, 32층 ResNet에서는 22.17×, AlexNet에서는 40.65×의 뛰어난 압축 비율을 달성하면서 원래 정확도에 근접한 성능를 유지한다.
• 기존 연구(예: Han 등, 2015a)보다 높은 압축 비율을 달성한다. LeNet의 경우 51.25× vs. 39.00×, ResNet의 경우 22.17× vs. N/A이며, 유사한 설정에서 비교 가능하다.