[논문 리뷰] A Deep Neural Network Compression Pipeline: Pruning, Quantization, Huffman Encoding

Song Han, Huizi Mao외 1명|arXiv (Cornell University)|2015. 10. 01.

Advanced Neural Network Applications참고 문헌 8인용 수 33

한 줄 요약

이 논문은 정확도 손실 없이 신경망 크기를 35배에서 49배까지 줄이는 세 단계의 딥 컴프레션 파이프라인—프루닝, 양자화, 허프만 부호화—을 제안한다. 이 방법은 모델 크기를 극적으로 줄이고 CPU, GPU, 모바일 GPU 플랫폼에서 추론 속도와 에너지 효율을 향상시켜 임베디드 및 모바일 시스템에 효율적으로 구현할 수 있도록 한다.

ABSTRACT

Neural networks are both computationally intensive and memory intensive, making them difficult to deploy on embedded systems with limited hardware resources. To address this limitation, we introduce deep compression, a three stage pipeline: pruning, trained quantization and Huffman coding, that work together to reduce the storage requirement of neural networks by 35x to 49x without affecting their accuracy. Our method first prunes the network by learning only the important connections. Next, we quantize the weights to enforce weight sharing, finally, we apply Huffman coding. After the first two steps we retrain the network to fine tune the remaining connections and the quantized centroids. Pruning, reduces the number of connections by 9x to 13x; Quantization then reduces the number of bits that represent each connection from 32 to 5. On the ImageNet dataset, our method reduced the storage required by AlexNet by 35x, from 240MB to 6.9MB, without loss of accuracy. Our method reduced the size of VGG-16 by 49x from 552MB to 11.3MB, again with no loss of accuracy. This allows fitting the model into on-chip SRAM cache rather than off-chip DRAM memory. Our compression method also facilitates the use of complex neural networks in mobile applications where application size and download bandwidth are constrained. Benchmarked on CPU, GPU and mobile GPU, compressed network has 3x to 4x layerwise speedup and 3x to 7x better energy efficiency.

연구 동기 및 목표

• 자원이 제한된 임베디드 및 모바일 시스템에 대규모이며 계산 및 메모리 집약적인 신경망을 구현하는 데 도전하는 문제를 해결한다.
• 모델 정확도를 훼손하지 않으면서 딥 신경망의 저장 공간 점유율을 줄인다.
• 모델 크기를 최소화하여 온칩 SRAM 캐싱을 가능하게 하여 더 느린 외부 DRAM에 대한 의존도를 낮춘다.
• 모바일 및 엣지 디바이스에서 추론 속도와 에너지 효율을 향상시킨다.
• 대역폭과 저장 용량이 제한된 모바일 애플리케이션에서 복잡한 모델의 구현을 촉진한다.

제안 방법

• 가장 중요도가 낮은 연결을 제거하기 위해 크기 기반 프루닝을 적용하여 파라미터 수를 9배에서 13배까지 줄인다.
• 학습된 양자화를 적용하여 32비트 부동소수점 가중치를 5비트 고정소수점 표현으로 매핑하고 가중치 공유를 강제한다.
• 프루닝 및 양자화된 네트워크를 재학습하여 남아 있는 연결과 양자화된 중심점들을 정밀하게 조정한다.
• 엔트로피 부호화를 사용하여 양자화된 가중치를 추가로 압축하기 위해 허프만 부호화를 적용한다.
• 프루닝, 양자화, 허프만 부호화를 통합된 파이프라인으로 조합하여 압축 효율을 극대화한다.
• 메모리 액세스를 최소화하고 계산 효율을 향상시켜 CPU, GPU, 모바일 GPU 플랫폼에 대한 구현 최적화를 수행한다.

실험 결과

연구 질문

• RQ1 프루닝, 양자화, 엔트로피 부호화의 조합이 정확도 저하 없이 신경망 크기를 35배 이상 줄일 수 있는가?
• RQ2 압축된 모델이 외부 DRAM이 아닌 온칩 SRAM에 얼마나 잘 맞을 수 있는가?
• RQ3 압축 파이프라인이 다양한 하드웨어 플랫폼에서 추론 속도와 에너지 효율에 어떤 영향을 미치는가?
• RQ4 이 방법은 정확도를 유지하면서 대규모 모델인 AlexNet과 VGG-16에 효과적으로 적용될 수 있는가?
• RQ5 모바일 및 임베디드 환경에서 압축 비율, 추론 속도, 에너지 효율 간의 상호 상충 관계는 어떠한가?

주요 결과

• 압축 파이프라인이 ImageNet 데이터셋에서 AlexNet의 저장 크기를 240MB에서 6.9MB로 줄여 35배의 감소를 이뤘으며, 정확도 손실 없이 유지했다.
• 이 방법은 VGG-16의 크기를 552MB에서 11.3MB로 줄여 49배의 압축 비율을 달성했으며, 원래 정확도를 유지했다.
• 압축된 모델은 CPU, GPU, 모바일 GPU 플랫폼에서 계층별 추론 속도를 3배에서 4배까지 향상시켰다.
• 메모리 대역폭과 계산량이 감소함에 따라 동일한 하드웨어 플랫폼에서 에너지 효율이 3배에서 7배까지 향상되었다.
• 압축된 모델은 외부 DRAM이 아닌 온칩 SRAM에 저장될 수 있었으며, 이로 인해 지연 시간과 전력 소비가 감소했다.
• 프루닝, 양자화, 허프만 부호화의 조합은 저장 용량과 대역폭이 제한된 모바일 애플리케이션에서 복잡한 모델의 구현을 가능하게 하였다.