[논문 리뷰] Finding the Task-Optimal Low-Bit Sub-Distribution in Deep Neural Networks

Runpei Dong, Zhanhong Tan외 3명|arXiv (Cornell University)|2021. 12. 30.

Advanced Neural Network Applications인용 수 4

한 줄 요약

이 논문은 디퍼런셜 가우시안 믹스처 웨이트 샤링(DGMS)을 제안하며, 엔드 투 엔드 동시 최적화를 통해 딥 네ural 네트워크 내에서 작업 최적의 저비트 부분분포를 자동으로 학습하는 가시화 가능한 가우시안 믹스처 가중치 공유 방법이다. ELBO나 수동 설정에 의존하지 않고 작업 목표를 직접 최적화함으로써 DGMS는 상태 기준의 양자화 성능을 달성하며, 모바일 CPU에서 최대 7.46배의 인퍼런스 속도 향상을 이끌어내고 다양한 도메인 간 강력한 제로샷 전이성을 확보한다.

ABSTRACT

Quantized neural networks typically require smaller memory footprints and lower computation complexity, which is crucial for efficient deployment. However, quantization inevitably leads to a distribution divergence from the original network, which generally degrades the performance. To tackle this issue, massive efforts have been made, but most existing approaches lack statistical considerations and depend on several manual configurations. In this paper, we present an adaptive-mapping quantization method to learn an optimal latent sub-distribution that is inherent within models and smoothly approximated with a concrete Gaussian Mixture (GM). In particular, the network weights are projected in compliance with the GM-approximated sub-distribution. This sub-distribution evolves along with the weight update in a co-tuning schema guided by the direct task-objective optimization. Sufficient experiments on image classification and object detection over various modern architectures demonstrate the effectiveness, generalization property, and transferability of the proposed method. Besides, an efficient deployment flow for the mobile CPU is developed, achieving up to 7.46$ imes$ inference acceleration on an octa-core ARM CPU. Our codes have been publicly released at \url{https://github.com/RunpeiDong/DGMS}.

연구 동기 및 목표

• 저비트 가중치 양자화에서 분포의 편차로 인한 성능 저하 문제를 해결하기 위해.
• 최적의 부분분포를 자동으로 학습함으로써 수동 하이퍼파ram터 튜닝을 제거하기 위해.
• 다양한 비전 도메인 간에 양자화된 모델의 일반화 및 전이성을 향상시키기 위해.
• 단순화된 인퍼런스 파이프라인을 통해 모바일 CPU에 효율적으로 배포할 수 있도록 하기 위해.
• 고정된 사전 확률 또는 ELBO 목표에 의존하는 대신, 모델 내재의 부분분포를 학습함으로써 양자화를 작업 최적화 문제로 재정의하기 위해.

제안 방법

• 잠재 저비트 부분분포를 모델링하기 위해 미분 가능한 가우시안 믹스처(GM) 근사를 도입하며, 고정된 딜타 함수 사후분포를 대체한다.
• 작업 손실을 직접 최소화함으로써 네트워크 가중치와 GM 파라미터를 엔드 투 엔드로 동시 최적화하며, ELBO 최적화가 필요 없도록 한다.
• 온도 기반 소프트맥스 재구성 기법을 사용하여 양자화 과정에서 훈련과 추론 간 격차를 메운다.
• 훈련 중에 가중치를 GM 근사 부분분포에 투영함으로써 부드럽고 미분 가능한 양자화를 가능하게 한다.
• GM이 가중치 업데이트와 함께 자동으로 진화하는 자가 적응형, 자동화된 스키마를 도입하여 수동 설정을 제거한다.
• 병렬성 유지 및 캐시 액세스 최적화를 통해 모바일 CPU에서 양자화된 모델을 효율적으로 배포한다.

실험 결과

연구 질문

• RQ1 수동 하이퍼파ram터 튜닝 없이도 모델 내재의 작업 최적의 저비트 부분분포를 자동으로 발견할 수 있는가?
• RQ2 작업 목표를 직접 최적화하는 것이 ELBO 기반 변분 추론보다 더 나은 양자화 성능을 낼 수 있는가?
• RQ3 학습된 부분분포는 다양한 비전 도메인 간에 일반화 가능할 수 있으며, 제로샷 전이도 가능한가?
• RQ4 DGMS는 이미지 분류 및 객체 검출 작업 모두에서 최소한의 정확도 손실로 고압축을 달성하는 데 얼마나 효과적인가?
• RQ5 DGMS는 정확도를 희생시키지 않고도 모바일 CPU에서 인퍼런스를 얼마나 빠르게 가속화할 수 있는가?

주요 결과

• 오크타코어 ARM CPU에서 DGMS는 전체 정밀도 모델 대비 최대 7.46배의 인퍼런스 속도 향상을 달성하며, 정확도 손실은 최소한이다.
• CIFAR-10에서 4비트 DGMS는 ResNet-20을 사용해 70.25%의 상위-1 정확도를 기록했으며, 일부 경우에서 전체 정밀도 기준선을 초월했다.
• 제로샷 전이를 통해 CUB-200-2011에서 77.46%, Stanford Cars에서 81.46%의 상위-1 정확도를 달성했으며, 전체 정밀도 모델과 맞먹는 성능을 보였다.
• ImageNet에서 단 한 번의 피니튜닝 에포크 후 DGMS는 82.28%의 상위-1 정확도를 달성했으며, 전체 정밀도 성능과 동일했다.
• 학습된 부분분포는 강력한 도메인 불변 성질을 보이며, 다양한 데이터셋 간 효과적인 제로샷 양자화를 가능하게 했다.
• 학습 과정에서 정확도 향상과 상관관계를 보이며, 학습 목표로 사용되지 않았음에도 불구하고 양자화 오차(MSE 기준)가 자동으로 감소했다.