[논문 리뷰] Scalable Model Compression by Entropy Penalized Reparameterization

Deniz Oktay, Johannes Ballé외 2명|arXiv (Cornell University)|2019. 06. 15.

Advanced Image and Video Retrieval Techniques참고 문헌 35인용 수 8

한 줄 요약

이 논문은 신경망 가중치를 잠재 공간으로 재구성하고, 엔트로피 정규화된 스칼라 양자화를 적용하며, 압축을 위해 산술 부호화를 사용하는 확장성 있고 종단 간 모델 압축 방법을 제안한다. 단일 학습 단계와 복잡한 다단계 절차 없이도 ResNet-50을 사용하여 MNIST, CIFAR-10 및 ImageNet에서 최신 기술 수준의 압축 성능을 달성한다.

ABSTRACT

We describe a simple and general neural network weight compression approach, in which the network parameters (weights and biases) are represented in a "latent" space, amounting to a reparameterization. This space is equipped with a learned probability model, which is used to impose an entropy penalty on the parameter representation during training, and to compress the representation using a simple arithmetic coder after training. Classification accuracy and model compressibility is maximized jointly, with the bitrate--accuracy trade-off specified by a hyperparameter. We evaluate the method on the MNIST, CIFAR-10 and ImageNet classification benchmarks using six distinct model architectures. Our results show that state-of-the-art model compression can be achieved in a scalable and general way without requiring complex procedures such as multi-stage training.

연구 동기 및 목표

• 다단계 학습이나 복잡한 절차 없이도 단순하고 일반적이며 확장 가능한 신경망 가중치 압축 방법을 개발하는 것.
• 학습된 잠재 공간에서 엔트로피 페널티를 도입하여 모델 정확도와 압축 가능성의 공동 최적화를 이루는 것.
• 양자화된 매개변수의 효율적 산술 부호화를 통해 높은 압축 비율을 유지하면서 분류 정확도를 확보하는 것.
• 절단, 희소화 또는 적응형 부호화와 같은 복잡한 기법이 없이도 최신 기술 수준의 압축을 달성할 수 있는지 입증하는 것.
• ResNet-50과 같은 대규모 모델에 적합한 라이선스 무료이고 공개된 구현을 제공하는 것.

제안 방법

• 가중치를 학습된 잠재 공간으로 재구성하기 위해 미분 가능한 변환을 사용하여 표현 유연성을 높이는 것.
• 잠재 공간에서 스칼라 양자화를 적용하여 매개변수를 효율적으로 이산화하고, 엔트로피 모델링을 가능하게 하는 것.
• 학습 중에 엔트로피 페널티를 도입하여 저비트레이트 표현을 장려하고 높은 정확도를 유지하는 것.
• 잠재 표현에 대한 학습된 확률 모델을 사용하여 엔트로피 부호화를 안내하고 비트레이트를 최소화하는 것.
• 학습 후, 학습된 확률 모델을 활용하여 양자화된 잠재 표현을 산술 부호화를 통해 압축하는 것.
• 정확도와 압축 크기 간의 상호 최적화를 위해 하이퍼파rameter 제어의 트레이드오프를 사용하는 단일 단계에서 전체 시스템을 종단 간으로 학습하는 것.

실험 결과

연구 질문

• RQ1 다단계 학습이나 복잡한 절차 없이도 단일 단계 종단 간 학습 프레임워크가 최신 기술 수준의 모델 압축을 달성할 수 있는가?
• RQ2 학습된 잠재 공간으로 가중치를 재구성하는 것이 원래 매개변수 공간에서 직접 양자화하는 것보다 스칼라 양자화의 유연성과 효율성을 향상시키는가?
• RQ3 잠재 공간에서의 엔트로피 정규화가 다양한 아키텍처와 데이터셋에서 모델 정확도와 압축 크기 간의 균형을 어느 정도 잘 조절할 수 있는가?
• RQ4 이 방법은 ResNet-50과 같은 대규모 모델에서 ImageNet에 대해 효과적으로 스케일업될 수 있는가?
• RQ5 절단, 희소화 또는 컨텍스트 적응형 부호화와 같은 기법에 의존하지 않고도 뛰어난 압축 성능을 달성할 수 있는가?

주요 결과

• 이 방법은 다단계 학습이나 복잡한 절차를 사용하는 이전 방법들보다 앞서는 성능을 보이며, MNIST, CIFAR-10 및 ImageNet에서 최신 기술 수준의 모델 압축 성능을 달성한다.
• ResNet-50을 사용한 ImageNet에서, 높은 압축 비율을 유지하면서 경쟁 가능한 top-1 정확도를 확보하여 대규모 모델로의 스케일업 능력을 입증한다.
• 네 단계 학습과 사전 정의된 양자화를 사용하는 [11]과 같은 방법보다 더 낮은 비트레이트에서 더 높은 정확도를 달성한다.
• 잠재 공간에서의 학습된 확률 모델 사용이 더 효율적인 엔트로피 부호화를 가능하게 하여, 단순한 양자화나 고정 분포 부호화보다 비트레이트를 감소시킨다.
• 단일 학습 단계만 필요하며, 어떤 신경망 아키텍처와도 호환되어 광범위한 적용 가능성을 확보한다.
• 이 방법은 라이선스 무료이며 공개 가능하며, TensorFlow Compression 경유하여 코드를 제공하여 실용적 사용성을 향상시킨다.