[논문 리뷰] Automatic Neural Network Compression by Sparsity-Quantization Joint Learning: A Constrained Optimization-based Approach

Haichuan Yang, Shupeng Gui외 2명|arXiv (Cornell University)|2019. 10. 14.

Advanced Neural Network Applications참고 문헌 55인용 수 5

한 줄 요약

이 논문은 압축 비율 수동 설정이 필요 없이 스파arsity와 양자화를 동시에 학습하는 제약 최적화 기반 프레임워크를 제안한다. 문제를 희소성-양자화 모델 크기 제약 조건으로 설정하고 ADMM를 통해 해결함으로써, CIFAR-10에서 ResNet-50에 대해 정확도 손실 없이 최대 836× 압축을 달성하고, ImageNet에서 AlexNet에 대해 정확도 손실 없이 205× 압축을 달성한다.

ABSTRACT

Deep Neural Networks (DNNs) are applied in a wide range of usecases. There is an increased demand for deploying DNNs on devices that do not have abundant resources such as memory and computation units. Recently, network compression through a variety of techniques such as pruning and quantization have been proposed to reduce the resource requirement. A key parameter that all existing compression techniques are sensitive to is the compression ratio (e.g., pruning sparsity, quantization bitwidth) of each layer. Traditional solutions treat the compression ratios of each layer as hyper-parameters, and tune them using human heuristic. Recent researchers start using black-box hyper-parameter optimizations, but they will introduce new hyper-parameters and have efficiency issue. In this paper, we propose a framework to jointly prune and quantize the DNNs automatically according to a target model size without using any hyper-parameters to manually set the compression ratio for each layer. In the experiments, we show that our framework can compress the weights data of ResNet-50 to be 836$ imes$ smaller without accuracy loss on CIFAR-10, and compress AlexNet to be 205$ imes$ smaller without accuracy loss on ImageNet classification.

연구 동기 및 목표

• DNN 프루닝 및 양자화에서 계층별 압축 비율에 대한 수동 하이퍼파rameter 튜닝을 제거하기 위해.
• 새로운 하이퍼파rameter를 도입하지 않고도 스파arsity와 양자화 비트폭을 종합적으로 최적화할 수 있도록 하기 위해.
• 사용자가 정의한 모델 크기 예산 내에서 높은 압축 비율을 달성하면서도 모델 정확도를 유지하기 위해.
• 강화학습 또는 베이지안 최적화와 같은 블랙박스 최적화 방법의 불안정성과 비효율성에 대체할 수 있는 안정적이고 효율적인 방법을 제공하기 위해.
• 모델 구조와 데이터 민감도에 기반해 자동으로 최적의 계층별 압축 비율을 할당하기 위해.

제안 방법

• 모델 크기의 하드 제약 조건을 갖는 제약 최적화 문제로 DNN 압축을 공식화한다.
• 기존 가중치와 그 압축된 복제본을 분리하기 위해 '소프트 듀플리케이트'(soft duplicate) 가중치 변수를 도입한다.
• 이중 변수를 사용하는 교대 방식의 다중승수 방법(ADMM)을 통해 제약 최적화 문제를 효율적으로 해결한다.
• 압축된 가중치에 대해 희소성 + 양자화 제약 조건을 부여하여, 동시에 희소성과 저비트 표현을 보장한다.
• 기존 가중치, 압축된 가중치, 이중 변수를 번갈아가며 공동으로 업데이트하는 교대 최적화 전략을 사용한다.
• 하이퍼파rameter 검색이 아닌 최적화를 통해 자동으로 최적의 계층별 희소성과 비트폭을 결정한다.

실험 결과

연구 질문

• RQ1 수동 또는 블랙박스 하이퍼파rameter 튜닝에 의존하지 않고도 프루닝과 양자화를 자동으로 통합할 수 있는가?
• RQ2 각 계층에 대해 동시에 스파arsity와 양자화 비트폭을 학습할 수 있도록 제약 최적화 프레임워크를 어떻게 설계할 수 있는가?
• RQ3 정확도 저하 없이 고정된 모델 크기 예산 내에서 달성 가능한 최대 압축 비율은 얼마인가?
• RQ4 제안된 방법은 이전 연구와 비교해 계층 간 압축 자원(희소성과 비트폭)을 어떻게 할당하는가?
• RQ5 모델 정확도를 유지하면서도 최신 기술 수준의 압축 성능을 달성할 수 있는가?

주요 결과

• 제안된 방법은 CIFAR-10에서 ResNet-50에 대해 정확도 손실 없이 최대 836× 압축을 달성하며, 이는 이전 자동화된 방법들을 능가한다.
• AlexNet의 경우 ImageNet에서 정확도 손실 없이 205× 압축을 달성하여 뛰어난 일반화 성능을 보였다.
• 이 프레임워크는 압축 비율 또는 추가 하이퍼파rameter의 수동 튜닝 없이 종단 간 압축을 가능하게 한다.
• 시각화 결과는 희소성이 더 높은 계층에 더 높은 비트폭을 우선적으로 할당하는 경향을 보이며, 이는 희소 가중치가 더 정보가 많다는 직관과 일치한다.
• 이전 연구에 비해 프루닝 전용 또는 양자화 전용 기준보다 스파arsity와 양자화를 동시에 최적화함으로써 더 높은 압축 비율을 달성한다.
• ADMM 기반 솔루션은 안정적이고 효율적으로 수렴하여, 블랙박스 최적화 방법의 불안정성과 비효율성을 피한다.