[논문 리뷰] Differentiable Fine-grained Quantization for Deep Neural Network Compression

Hsin-Pai Cheng, Yuanjun Huang외 5명|arXiv (Cornell University)|2018. 10. 20.

Advanced Neural Network Applications참고 문헌 10인용 수 11

한 줄 요약

이 논문은 딥 네ural 네트워크에서 혼합 정밀도 양자화를 위한 기울기 기반 최적화를 가능하게 하는, 미분 가능하고 세분화된 양자화 방법을 제안한다. 이는 이산적인 비트폭 선택을 연속 공간으로 완화함으로써, 층 별 비트폭과 네트워크 가중치를 동시에 최적화함으로써 최대 30× 압축을 달성하면서 정확도 손실를 최소화한다. 이는 동일한 압축률에서 8비트나 이진 양자화와 같은 고정 정밀도 기반선과 비교해 뛰어난 성능을 발휘한다.

ABSTRACT

Neural networks have shown great performance in cognitive tasks. When deploying network models on mobile devices with limited resources, weight quantization has been widely adopted. Binary quantization obtains the highest compression but usually results in big accuracy drop. In practice, 8-bit or 16-bit quantization is often used aiming at maintaining the same accuracy as the original 32-bit precision. We observe different layers have different accuracy sensitivity of quantization. Thus judiciously selecting different precision for different layers/structures can potentially produce more efficient models compared to traditional quantization methods by striking a better balance between accuracy and compression rate. In this work, we propose a fine-grained quantization approach for deep neural network compression by relaxing the search space of quantization bitwidth from discrete to a continuous domain. The proposed approach applies gradient descend based optimization to generate a mixed-precision quantization scheme that outperforms the accuracy of traditional quantization methods under the same compression rate.

연구 동기 및 목표

• 자원 제약이 있는 장치에서 고정 정밀도 양자화의 비효율성을 해결하기 위해 모델 압축과 정확도의 균형을 개선한다.
• 모든 층에 동일한 비트폭을 적용하는 균일 양자화와 비교해, 층 별 비트폭 선택이 정확도-압축 균형을 향상시킬 수 있는지 탐색한다.
• 혼합 정밀도 양자화 기법의 엔드 투 엔드 최적화를 가능하게 하는, 미분 가능한 탐색 기법을 개발한다.
• 기존의 8비트나 이진 양자화보다 더 높은 압축률을 달성하면서도 모델 정확도를 유지하거나 향상시킬 수 있도록 한다.
• 기존 기법들(예: 가중치 프루닝)과 수직적(orthogonal)이면서 효율적이고 확장 가능한 양자화 기법을 제공한다.

제안 방법

• 이산적인 양자화 비트폭 선택(예: 이진, 8비트)을 소프트맥스 기반의 완화를 통해 연속 도메인으로 변환함으로써 기울기 기반 최적화를 가능하게 한다.
• 각 층의 양자화 선택을 학습 가능한 파라미터 벡터 α로 모델링하며, 각 원소는 특정 비트폭을 선택할 확률을 나타낸다.
• 이중 최적화 프레임워크를 사용: 주어진 α에 대해 최적의 학습 가중치 w*를 얻는 조건 하에 모델 크기 G(α)를 최소화하고, 검증 손실 제약 L_val(w*, α) ≤ θ 를 만족시킨다.
• 라그랑주 완화와 근사 알고리즘을 적용하여 제약 최적화 문제를 해결하며, α와 w를 기울기 하강법을 통해 번갈아 갱신한다.
• 양자화 연산에 대한 미분 가능한 완화를 적용하여, 양자화 과정을 통해 역전파가 가능하게 하여 비트폭과 네트워크 가중치를 동시에 최적화한다.
• 최적화 후, 최종 모델은 추론을 위해 학습된 혼합 정밀도 기법을 사용해 재학습 및 미세조정된다.

실험 결과

연구 질문

• RQ1 이산적인 양자화 비트폭을 연속 도메인으로 완화함으로써 딥 네럴 네트워크에서 정확도-압축 균형을 향상시킬 수 있는가?
• RQ2 다른 층이 서로 다른 비트폭을 사용하는 층 별 혼합 정밀도 양자화가 동일한 압축률에서 균일 양자화를 능가하는가?
• RQ3 이산적 탐색 히우리스틱에 의존하지 않고도 기울기 기반 최적화가 최적의 혼합 정밀도 구성 설정을 효과적으로 탐색할 수 있는가?
• RQ4 8비트나 이진 양자화와 같은 고정 정밀도 기반선과 비교해, 제안된 방법은 압축률과 정확도 측면에서 어떻게 성능을 내는가?
• RQ5 이 방법은 가중치 프루닝과 같은 다른 압축 기법과 얼마나 잘 조합될 수 있는가?

주요 결과

• MNIST에서, 이 방법은 28× 압축을 달성하면서 정확도 손실가 0.46%에 그치며(98.20% 정확도), 더 높은 압축률에서 8비트(98.48%)와 이진(96.34%) 기반선을 능가했다.
• VGG-16를 사용한 CIFAR-10에서, 이 방법은 30× 압축을 달성하고 정확도 83.06%를 기록했으며, 거의 동일한 압축률에서 이진 양자화(81.56%)를 뛰어넘었다.
• 이 방법은 이진 양자화보다 1.5% 정확도 향상을 달성하면서도 거의 32× 압축률을 유지했다.
• 메모리 소비는 특히 중간 층에서 크게 감소했으며, 그림 2에서 혼합 정밀도 모델이 전체 정밀도 VGG-16보다 훨씬 좁은 것을 확인할 수 있었다.
• 이 방법은 가중치 프루닝과 수직적이며, 최신 프루닝 기법과 조합하여 최대 900× 전체 압축을 달성할 수 있다.
• 이 방법은 아키텍처에 관계없이 일반화 가능하며, CNN에 국한되지 않고 RNN 및 LSTM 등으로도 확장 가능할 잠재력을 지닌다.