[논문 리뷰] Rate Distortion For Model Compression: From Theory To Practice

Weihao Gao, Yuhan Liu외 2명|arXiv (Cornell University)|2018. 10. 09.

Advanced Neural Network Applications참고 문헌 31인용 수 10

한 줄 요약

이 논문은 신경망 모델 압축을 위한 레이트 디스토션 이론 기반 프레임워크를 제안하며, 기울기와 헤시안 정보를 통합함으로써 프루닝과 양자화를 향상시키는 새로운 목적 함수를 도입한다. 하나의 은닉층을 가진 ReLU 네트워크에 대해 최적성의 정리를 제시하고, MNIST 및 CIFAR 데이터셋에서 우수한 압축-정확도 트레이드오프를 보여준다.

ABSTRACT

The enormous size of modern deep neural networks makes it challenging to deploy those models in memory and communication limited scenarios. Thus, compressing a trained model without a significant loss in performance has become an increasingly important task. Tremendous advances has been made recently, where the main technical building blocks are parameter pruning, parameter sharing (quantization), and low-rank factorization. In this paper, we propose principled approaches to improve upon the common heuristics used in those building blocks, namely pruning and quantization. We first study the fundamental limit for model compression via the rate distortion theory. We bring the rate distortion function from data compression to model compression to quantify this fundamental limit. We prove a lower bound for the rate distortion function and prove its achievability for linear models. Although this achievable compression scheme is intractable in practice, this analysis motivates a novel model compression framework. This framework provides a new objective function in model compression, which can be applied together with other classes of model compressor such as pruning or quantization. Theoretically, we prove that the proposed scheme is optimal for compressing one-hidden-layer ReLU neural networks. Empirically, we show that the proposed scheme improves upon the baseline in the compression-accuracy tradeoff.

연구 동기 및 목표

• 레이트 디스토션 이론을 사용하여 모델 압축의 기본 이론적 한계를 설정하기.
• 프루닝과 양자화와 같은 히우리스틱 방법에 비해 개선된 원칙적인 목적 함수를 개발하기.
• 한 개의 은닉층을 가진 ReLU 신경망에 대해 제안된 목적 함수의 최적성을 증명하기.
• 실제 모델에서 제안된 방법을 경험적으로 검증하여 압축-정확도 트레이드오프를 향상시키기.
• 딥러닝에서 이론적 한계와 실용적 압축 기법 사이의 격차를 메우기.

제안 방법

• 모델 압축을 레이트 디스토션 문제로 공식화하며, 레이트는 모델 가중치를 표현하기 위한 비트 수이고, 디스토션은 원본 모델과 압축 모델 간의 기대 손실 차이이다.
• 레이트 디스토션 함수에 하한을 도출하고, 최적의 양자화 및 코딩 전략을 사용하여 선형 모델에 대해 그 달성 가능성을 증명한다.
• 손실 함수의 두 번째 근사에 기반한 가중치 중요도 행렬을 제안하며, 기울기와 헤시안 항 모두를 포함한다.
• 기울기 + 헤시안 목적 함수를 프루닝과 양자화의 지도 기준으로 사용하여 기대 제곱 손실 차이를 최소화한다.
• 그리디 프루닝과 교차 최소화를 사용하여 양자화를 수행하며, 제안된 중요도 지표에 따라 유도한다.
• 재학습 없이도 기존 압축 파이프라인에 새로운 목적 함수를 통합하여 즉시 적용 가능한 개선을 가능하게 한다.

실험 결과

연구 질문

• RQ1 레이트와 디스토션 측면에서 모델 압축의 기본 이론적 한계는 무엇인가?
• RQ2 신경망 압축에 대해 레이트 디스토션 함수가 실질적으로 달성 가능한가?
• RQ3 레이트 디스토션 이론을 어떻게 활용하여 더 나은 프루닝 및 양자화 알고리즘을 설계할 수 있는가?
• RQ4 제안된 목적 함수는 한 개의 은닉층을 가진 ReLU 네트워크에서 최적인가?
• RQ5 제안된 방법은 실세계 딥러닝 모델에서 압축-정확도 트레이드오프를 향상시키는가?

주요 결과

• 레이트 디스토션 함수에 하한이 증명되었으며, 최적의 코딩 및 양자화 전략을 사용하여 선형 모델에서 그 달성 가능성이 입증되었다.
• 제안된 기울기 + 헤시안 목적 함수는 프루닝 및 양자화 실험에서 기준, 기울기 전용, 헤시안 전용 목적 함수보다 우수한 성능을 보였다.
• MNIST용 완전 연결 네트워크에서, 제안된 방법은 기준 대비 동일한 압축 비율에서 더 높은 테스트 정확도를 달성했다.
• CIFAR-10에서의 합성곱 네트워크에서는 더 높은 압축 비율에서도 더 높은 정확도를 유지하여 아키텍처 간의 강건성을 입증했다.
• 프루닝과 양자화가 제안된 목적 함수에 의해 유도될 경우, 한 개의 은닉층을 가진 ReLU 네트워크에서 이론적으로 최적이 되는 것으로 나타났다.
• 경험적 결과는 다양한 데이터셋과 네트워크 유형에서 일관된 개선을 보여주었으며, 이론 기반 접근법의 실용적 유용성을 검증했다.