[논문 리뷰] Weightless: Lossy Weight Encoding For Deep Neural Network Compression

Brandon Reagen, Udit Gupta외 5명|arXiv (Cornell University)|2017. 11. 13.

Advanced Data Compression Techniques인용 수 28

한 줄 요약

Weightless는 블룸이어 필터를 사용하여 딥 네ural 네트워크 압축을 위한 새로운 손실성 가중치 인코딩 기법을 제안하며, 정확도 손실 없이 최대 496배의 압축을 가능하게 한다. 무작위적 인코딩을 통해 가중치 프루닝 및 클러스터링을 결합함으로써, Deep Compression과 같은 최신 기법보다 1.51배 더 뛰어난 압축 성능을 달성한다.

ABSTRACT

The large memory requirements of deep neural networks limit their deployment and adoption on many devices. Model compression methods effectively reduce the memory requirements of these models, usually through applying transformations such as weight pruning or quantization. In this paper, we present a novel scheme for lossy weight encoding which complements conventional compression techniques. The encoding is based on the Bloomier filter, a probabilistic data structure that can save space at the cost of introducing random errors. Leveraging the ability of neural networks to tolerate these imperfections and by re-training around the errors, the proposed technique, Weightless, can compress DNN weights by up to 496x with the same model accuracy. This results in up to a 1.51x improvement over the state-of-the-art.

연구 동기 및 목표

• 자원 제약이 있는 장치에 배포하기 위해 딥 네럴 네트워크의 메모리 및 대역폭 소비를 줄이기 위해.
• 기존의 프루닝 및 양자화를 초월해 DNN 가중치의 부재를 활용한 손실성 인코딩 기법을 탐색하기 위해.
• 모델 희박성 증가와 함께 효율적으로 확장 가능한 압축 기법을 개발하기 위해.
• 블룸이어 필터와 같은 확률적 데이터 구조가 고압축 DNN 가중치 인코딩에 효과적으로 활용될 수 있음을 입증하기 위해.
• Deep Compression과 같은 기존 최신 기술보다 열등한 압축 비율을 달성하기 위해.

제안 방법

• 블룸이어 필터 — 확률적 데이터 구조 — 를 활용하여 오차율을 제어하는 함수 매핑을 저장함으로써 DNN 가중치를 손실성으로 인코딩한다.
• 블룸이어 필터의 특성과 잘 맞추기 위해 가중치 프루닝 및 클러스터링을 사전 처리 단계로 적용한다.
• 블룸이어 필터 근사로 인해 발생하는 오차를 줄이기 위해 재학습을 수행함으로써 모델 정확도를 유지한다.
• 블룸이어 필터 표현에 산술 인코딩을 적용하고, CSR 형식에 허프만 인코딩을 사용하여 추가로 압축한다.
• 비제로 가중치 수와 무관하게 블룸이어 필터의 가짜 양성률을 제어함으로써 확장 가능한 압축을 가능하게 한다.
• 저장소 절감과 오차 내성 간의 균형을 맞추기 위해 필터 파라미터를 조정함으로써 인코딩 과정을 최적화한다.

실험 결과

연구 질문

• RQ1 블룸이어 필터와 같은 확률적 데이터 구조를 사용한 손실성 인코딩이 정확도 저하 없이 DNN 가중치에서 고압축 비율을 달성할 수 있는가?
• RQ2 Weightless의 압축 성능은 기존 기법과 비교해 모델의 희박성 증가에 따라 어떻게 변화하는가?
• RQ3 재학습을 통해 블룸이어 필터 근사로 인한 오차를 얼마나 효과적으로 줄일 수 있는가?
• RQ4 Weightless는 Deep Compression과 같은 최신 기술보다 얼마나 더 뛰어난가?
• RQ5 블룸이어 필터는 가중치 단순화 기법(예: 프루닝 및 클러스터링)과 효과적으로 조합되어 DNN 압축에 활용될 수 있는가?

주요 결과

• Weightless는 LeNet5 FC-0 레이어에서 최대 496배의 압축을 달성했으며, 정확도 손실 없이 성능을 유지했다.
• Deep Compression과 비교해 최대 1.51배 뛰어난 압축 비율을 달성했으며, 특히 매우 희박한 모델에서 유의미한 성능 향상을 보였다.
• Deep Compression보다 Weightless가 희박성 증가에 따라 훨씬 더 우수한 확장성을 보였으며, 더 적극적인 프루닝을 적용한 모델에서 뛰어난 성능을 발휘했다.
• 재학습 후 블룸이어 필터 인코딩은 LeNet-300-100 모델의 정확도를 2.0%p 향상시켜 오차 보정 효과를 입증했다.
• 블룸이어 필터에 산술 인코딩을 적용하고 CSR 표현에 허프만 인코딩을 사용함으로써 압축된 크기를 추가로 줄였으며, 전송 및 저장 효율성을 향상시켰다.
• 극도로 강한 프루닝 조건에서도 여전히 효과적이었으며, 잔여 가중치의 부재가 고정밀도 손실성 인코딩을 가능하게 함을 시사했다.