[논문 리뷰] A Programmable Approach to Model Compression.

V. Roshan Joseph, Saurav Muralidharan외 3명|arXiv (Cornell University)|2019. 11. 06.

Machine Learning and Data Classification참고 문헌 29인용 수 6

한 줄 요약

이 논문은 표본 효율적인 제약 조건이 있는 베이지안 최적화를 사용하여 신경망 압축을 위한 최적의 희소성 비율을 자동으로 발견하는 프로그래머블 모델 압축 시스템인 Condensa를 소개한다. 사용자가 파이썬을 사용해 맞춤형 압축 전략을 조합할 수 있도록 하여, 검색에 최소 10개의 샘플만으로도 최대 65배의 메모리 감소와 2.22배의 처리량 향상을 달성한다.

ABSTRACT

Deep neural networks frequently contain far more weights, represented at a higher precision, than are required for the specific task which they are trained to perform. Consequently, they can often be compressed using techniques such as weight pruning and quantization that reduce both model size and inference time without appreciable loss in accuracy. Compressing models before they are deployed can therefore result in significantly more efficient systems. However, while the results are desirable, finding the best compression strategy for a given neural network, target platform, and optimization objective often requires extensive experimentation. Moreover, finding optimal hyperparameters for a given compression strategy typically results in even more expensive, frequently manual, trial-and-error exploration. In this paper, we introduce a programmable system for model compression called Condensa. Users programmatically compose simple operators, in Python, to build complex compression strategies. Given a strategy and a user-provided objective, such as minimization of running time, Condensa uses a novel sample-efficient constrained Bayesian optimization algorithm to automatically infer desirable sparsity ratios. Our experiments on three real-world image classification and language modeling tasks demonstrate memory footprint reductions of up to 65x and runtime throughput improvements of up to 2.22x using at most 10 samples per search. We have released a reference implementation of Condensa at this https URL.

연구 동기 및 목표

• 다양한 신경망 아키텍처와 배포 플랫폼에서 모델 압축을 위한 수동 하이퍼파rameter 튜닝 문제를 해결하기 위해.
• 자동화된, 표본 효율적인 검색을 통해 최적의 압축 전략을 찾는 데 드는 계산 비용과 인간의 노력을 줄이기 위해.
• 유연하고 확장 가능한 파이썬 기반 인터페이스를 통해 사용자가 프로그래밍적으로 복잡한 압축 전략을 조합할 수 있도록 하기 위해.
• 정확도를 유지하면서 추론 시간이나 메모리 용량을 최소화하기 위해 지능적인 하이퍼파rameter 검색을 수행하기 위해.
• 다양한 작업과 하드웨어 타겟을 지원하는 확장성 있고 재사용 가능한 모델 압축 프레임워크를 제공하기 위해.

제안 방법

• Condensa는 절단과 양자화를 위한 모듈러한 연산자로 구성된 파이썬 기반 도메인 특화 언어(DSL)를 사용해 사용자가 압축 전략을 정의할 수 있도록 한다.
• 압축 검색 문제를 제약 조건이 있는 최적화 문제로 공식화하며, 정확도 제약 조건 하에 지연 시간이나 모델 크기를 최소화하는 것이 목적이다.
• 최소한의 평가 비용으로 하이퍼파rameter 공간을 탐색하기 위해 표본 효율적인 제약 조건이 있는 새로운 베이지안 최적화 알고리즘을 적용한다.
• 성능 피드백에 기반해 레이어 간의 희소성 비율을 동적으로 조정하며, 확률 모델을 사용해 최적의 구성 예측을 수행한다.
• 구조적이고 비구조적인 희소성 모두를 지원하여 압축 트레이드오���에 대한 세밀한 제어를 가능하게 한다.
• 기존 딥러닝 프레임워크와 통합되며, 모델 훈련에서 배포에 이르기까지 엔드 투 엔드 압축 파이프라인을 지원한다.

실험 결과

연구 질문

• RQ1 다양한 신경망 아키텍처와 하드웨어 플랫폼에서 수동 하이퍼파rameter 튜닝의 필요성을 줄이기 위해 모델 압축을 어떻게 자동화할 수 있는가?
• RQ2 정확도를 유지하면서 높은 품질의 압축 구성 설정을 발견하기 위해 필요한 최소 평가 횟수는 얼마인가?
• RQ3 프로그래머블 인터페이스를 통해 최적화 효율성을 희생시키지 않고도 민첩하고 조합 가능한 압축 전략을 구현할 수 있는가?
• RQ4 표본 효율적인 제약 조건이 있는 베이지안 최적화는 모델 압축을 위한 최적의 희소성 비율을 발견하는 데 얼마나 효과적인가?
• RQ5 실제 작업에서 자동화된 압축이 메모리 용량을 얼마나 줄이고 추론 처리량을 향상시킬 수 있는가?

주요 결과

• Condensa는 세 가지 실세계 이미지 분류 및 언어 모델링 작업에서 최대 65배의 모델 메모리 용량 감소를 달성했다.
• 시스템은 정확도를 유지하면서 추론 처리량을 최대 2.22배 향상시켰다.
• 최적의 압축 구성 설정은 한 번의 검색에 최소 10개의 평가 샘플만으로도 발견되었으며, 높은 표본 효율성을 입증했다.
• 최소한의 사용자 간섭으로 다양한 아키텍처와 작업에 걸쳐 모델을 성공적으로 압축했다.
• 프로그래머블 인터페이스 덕분에 사용자는 쉽게 재현 가능하고 복잡한 작업 중심의 압축 전략을 조합할 수 있었다.
• 제약 조건이 있는 베이지안 최적화 접근 방식은 수렴 속도와 최종 솔루션 품질 측면에서 기준 방법들을 능가했다.