[논문 리뷰] Successive Pruning for Model Compression via Rate Distortion Theory.

Berivan Isik, Albert No외 1명|arXiv (Cornell University)|2021. 02. 16.

Advanced Neural Network Applications참고 문헌 44인용 수 4

한 줄 요약

이 논문은 비율-왜곡 이론에 기반한 순차적 프루닝을 사용하는 새로운 모델 압축 프레임워크를 제안한다. 이는 네트워크 희소성과 엔트로피 코딩을 함께 최적화하여 모델 크기를 최소화한다. 프루닝을 비율-왜곡 최적화 문제로 간주함으로써, MNIST, CIFAR-10, ImageNet의 다섯 가지 아키텍처에서 기존 방법보다 2.5배 더 작은 프루닝된 모델을 달성한다.

ABSTRACT

Neural network (NN) compression has become essential to enable deploying over-parameterized NN models on resource-constrained devices. As a simple and easy-to-implement method, pruning is one of the most established NN compression techniques. Although it is a mature method with more than 30 years of history, there is still a lack of good understanding and systematic analysis of why pruning works well even with aggressive compression ratios. In this work, we answer this question by studying NN compression from an information-theoretic approach and show that rate distortion theory suggests pruning to achieve the theoretical limits of NN compression. Our derivation also provides an end-to-end compression pipeline involving a novel pruning strategy. That is, in addition to pruning the model, we also find a minimum-length binary representation of it via entropy coding. Our method consistently outperforms the existing pruning strategies and reduces the pruned model's size by 2.5 times. We evaluate the efficacy of our strategy on MNIST, CIFAR-10 and ImageNet datasets using 5 distinct architectures.

연구 동기 및 목표

• 높은 압축 비율에서도 프루닝이 효과적으로 작동하는 이유를 이론적 기반 없이 이해하고자 한다.
• 실제 프루닝 성능와 모델 압축의 이론적 한계 사이의 격차를 메우고자 한다.
• 프루닝과 엔트로피 코딩을 통합한 원칙적인 종단간 압축 파이프라인을 개발하고자 한다.
• 다양한 데이터셋과 아키텍처에서 정확도를 유지하면서 최신 기술 수준의 모델 크기 감소를 달성하고자 한다.

제안 방법

• 비율(모델 크기)과 왜곡(정확도 손실)을 고려한 비율-왜곡 최적화 문제로 신경망 압축을 공식화한다.
• 이론적 비율-왜곡 트레이드오프에 따라 저중요도 가중치를 반복적으로 제거하는 순차적 프루닝을 적용한다.
• 엔트로피 코딩을 통해 프루닝된 모델의 최소 길이 이진 표현을 도입하여 비율 성분을 최소화한다.
• 비율-왜곡 목표의 미분 가능 근사치를 사용해 프루닝 정책을 종단간으로 훈련한다.
• 프루닝과 엔트로피 코딩을 통합하여 크기와 정확도를 함께 최적화하는 유일한 압축 파이프라인을 구축한다.
• 모델 성능을 유지하면서 압축 효율성을 극대화하는 점진적 프루닝 전략을 활용한다.

실험 결과

연구 질문

• RQ1 이론적 기반 없이도 프루닝이 높은 압축 비율에서도 정확도 손실이 최소한인 이유는 무엇인가?
• RQ2 비율-왜곡 이론이 신경망 프루닝의 이해와 향상에 원칙적인 프레임워크를 제공할 수 있는가?
• RQ3 엔트로피 코딩을 어떻게 프루닝 파이프라인에 효과적으로 통합하여 모델 크기를 최소화할 수 있는가?
• RQ4 희소성과 표현 효율성을 함께 최적화할 경우 모델 압축의 이론적 한계는 무엇인가?
• RQ5 통합된 종단간 압축 프레임워크는 기존의 프루닝 전용 또는 히우리스틱 기반 압축 방법을 초월할 수 있는가?

주요 결과

• 제안된 방법은 평가된 모든 데이터셋과 아키텍처에서 기존 프루닝 전략보다 프루닝된 모델 크기를 2.5배 작게 줄였다.
• 프루닝과 엔트로피 코딩의 통합은 프루닝만으로는 달성할 수 없을 정도로 훨씬 작은 모델 크기를 만들어내었으며, 표현 효율의 중요성을 입증한다.
• 비율-왜곡 프레임워크는 프루닝이 높은 압축 비율에서도 잘 작동하는 이유에 대한 이론적 근거를 제공한다.
• MNIST, CIFAR-10, ImageNet에서 경쟁적인 정확도를 유지함으로써 고압축 비율에서도 성능 저하가 발생하지 않음을 보여준다.
• 비율-왜곡 이론에 기반한 순차적 프루닝은 정확도 저하 없이 표준 프루닝 기준보다 모델 크기 감소 측면에서 뛰어난 성능을 보였다.