[논문 리뷰] Learning Sparsity and Quantization Jointly and Automatically for Neural Network Compression via Constrained Optimization.

Haichuan Yang, Shupeng Gui외 2명|arXiv (Cornell University)|2019. 09. 25.

Advanced Image and Video Retrieval Techniques참고 문헌 2인용 수 5

한 줄 요약

이 논문은 목표 모델 크기에 맞게 깊이 신경망을 공동으로 자동으로 정제하고 양자화하는 제약 최적화 프레임워크를 제안한다. 이로 인해 압축 비율의 수동적 하이퍼파rameter 조정이 필요 없어지며, CIFAR-10과 ImageNet에서 정확도 손실 없이 ResNet-50와 AlexNet에 대해 각각 836배와 205배의 가중치 압축을 달성한다.

ABSTRACT

Deep Neural Networks (DNNs) are applied in a wide range of usecases. There is an increased demand for deploying DNNs on devices that do not have abundant resources such as memory and computation units. Recently, network compression through a variety of techniques such as pruning and quantization have been proposed to reduce the resource requirement. A key parameter that all existing compression techniques are sensitive to is the compression ratio (e.g., pruning sparsity, quantization bitwidth) of each layer. Traditional solutions treat the compression ratios of each layer as hyper-parameters, and tune them using human heuristic. Recent researchers start using black-box hyper-parameter optimizations, but they will introduce new hyper-parameters and have efficiency issue. In this paper, we propose a framework to jointly prune and quantize the DNNs automatically according to a target model size without using any hyper-parameters to manually set the compression ratio for each layer. In the experiments, we show that our framework can compress the weights data of ResNet-50 to be 836$ imes$ smaller without accuracy loss on CIFAR-10, and compress AlexNet to be 205$ imes$ smaller without accuracy loss on ImageNet classification.

연구 동기 및 목표

• 신경망 압축에서 각 레이어에 대해 희박성과 비트폭을 수동으로 조정하는 압축 비율을 설정하는 문제를 해결한다.
• 새로운 조정 오버헤드를 유발하는 히우리스틱 또는 블랙박스 하이퍼파rameter 최적화 방법에 의존하는 것을 제거한다.
• 정확도 저하 없이 목표 모델 크기로 자동으로 종단 간 압축을 가능하게 한다.
• 통합 최적화 프레임워크를 통해 정제와 양자화를 동시에 고압축 비율로 달성한다.

제안 방법

• 크기 기반 정제와 양자화 후 훈련을 공동으로 최적화하는 제약 최적화 문제를 수립한다.
• 경사 기반 최적화를 가능하게 하기 위해 희박성과 양자화 제약의 미분 가능 근사화를 도입한다.
• 라그랑주 릴랙세이션을 사용하여 모델 정확도와 압축 비율 사이의 트레이드오���을 균형 잡는다.
• 목표 모델 크기 제약에 따라 각 레이어의 정제 및 양자화 수준을 자동으로 조정한다.
• 반복적인 하이퍼파rameter 검색이 필요 없이 단일 종단 간 훈련 루프에서 최적화 프레임워크를 적용한다.
• 경사 업데이트를 활용하여 각 레이어의 최적 희박성 패턴과 양자화 비트폭을 동시에 학습한다.

실험 결과

연구 질문

• RQ1 압축 비율의 수동 조정 없이 정제와 양자화를 자동으로 통합할 수 있는가?
• RQ2 제약 최적화 프레임워크가 정확도를 유지하면서 고압축 비율을 달성할 수 있는가?
• RQ3 기존의 히우리스틱 또는 블랙박스 하이퍼파arameter 최적화 방법과 비교해 효율성과 정확도 측면에서 어떻게 성능을 내는가?
• RQ4 이 프레임워크는 표준 벤치마크에서 ResNet-50과 AlexNet을 얼마나 압축할 수 있으며, 정확도 손실 없이 가능한가?

주요 결과

• 제안된 프레임워크는 CIFAR-10에서 ResNet-50 가중치를 정확도 손실 없이 836배로 압축한다.
• ImageNet에서 AlexNet은 정확도 저하 없이 205배로 압축된다.
• 희박성 또는 비트폭을 각 레이어별로 수동 설정할 필요 없이 고압축을 달성한다.
• 하이퍼파arameter 조정이나 블랙박스 최적화가 필요 없어지며, 이로 인해 효율성이 향상된다.
• 희박성과 양자화의 통합 최적화는 순차적 또는 히우리스틱 방법보다 우수한 압축 효율성을 제공한다.
• 제약 최적화 접근법을 통해 목표 모델 크기에 기반해 자동으로 레이어별로 압축 비율 할당이 가능해진다.