[논문 리뷰] DropPruning for Model Compression.

Haipeng Jia, Xueshuang Xiang외 6명|arXiv (Cornell University)|2018. 12. 05.

Advanced Neural Network Applications인용 수 4

한 줄 요약

이 논문은 정확도 손실 없이 깊은 신경망을 압축하는 데 전용된 새로운 반복적 모델 압축 기법인 Drop Pruning을 소개한다. 이 기법은 확률적 '드롭아웃'(중요하지 않은 가중치 제거) 및 '드롭인'(압축된 가중치 복구) 전략을 사용하여, 정확도 손실 없이 압축을 달성한다. 이는 VGG-16의 경우 CIFAR-10에서 11.1×, LeNet-5의 경우 MNIST에서 14.3×의 최신 기준을 충족하는 압축 비율을 달성한다. 이는 과적합을 줄이기 위해 드롭아웃 유사 메커니즘을 통해 동적으로 스파arsity를 관리함으로써 가능하다.

ABSTRACT

Deep neural networks (DNNs) have dramatically achieved great success on a variety of challenging tasks. However, most of the successful DNNs are structurally so complex, leading to much storage requirement and floating-point operation. This paper proposes a novel technique, named Drop Pruning, to compress the DNNs by pruning the weights from a dense high-accuracy baseline model without accuracy loss. Drop Pruning also falls into the standard iterative prune-retrain procedure, where a \emph{drop} strategy exists at each pruning step: \emph{drop out}, stochastic deleting some unimportant weights and \emph{drop in}, stochastic recovering some pruned weights. \emph{Drop out} and \emph{drop in} are supposed to handle the two drawbacks of the traditional pruning methods: local importance judgment and irretrievable pruning process, respectively. The suitable choosing of \emph{drop} probabilities can decrease the model size during pruning process and lead it to flow to the target sparsity. Drop Pruning also has some similar spirits with dropout, a stochastic algorithm in Integer Optimization and the Dense-Sparse-Dense training technique. Drop Pruning can significantly reducing overfitting while compressing the model. Experimental results demonstrates that Drop Pruning can achieve the state-of-the-art performance on many benchmark pruning tasks, about ${11.1 imes}$ compression of VGG-16 on CIFAR10 and ${14.3 imes}$ compression of LeNet-5 on MNIST without accuracy loss, which may provide some new insights into the aspect of model compression.

연구 동기 및 목표

• 기존의 가중치 프루닝 방법의 한계, 즉 局소 중요도 평가 및 돌이킬 수 없는 프루닝 결정 등의 문제를 해결하기 위해.
• 프루닝 및 재학습 과정 중 모델 과적합을 줄이기 위해.
• 압축 과정에서 모델 스파arsity에 대해 민첩하고 정확한 제어를 가능하게 하기 위해.
• 원래 모델의 정확도를 유지하면서도 높은 압축 비율을 달성하기 위해.
• 드롭아웃 및 Dense-Sparse-Dense 학습 기법과 같은 확률적 프루닝 및 학습 기법 간의 상호보완적 작용을 탐색하기 위해.

제안 방법

• 중요도 점수를 기반으로 '드롭아웃' 및 '드롭인' 단계를 번갈아가며 수행하는 새로운 반복적 프루닝-재학습 프레임워크를 도입하여, 가중치 중요도를 동적으로 관리한다.
• 중요도 점수에 기반한 확률적 가중치 제거('드롭아웃')를 적용하여 프루닝 과정에서 중요하지 않은 연결을 제거한다.
• 이전에 프루닝된 가중치를 재활성화하는 확률적 복구('드롭인')를 사용하여 돌이킬 수 없는 프루닝의 위험을 완화한다.
• 적응형 드롭 확률을 활용하여 정확도를 유지하면서 목표 스파arsity 수준으로 모델을 이끌어낸다.
• 드롭아웃 및 Dense-Sparse-Dense 학습의 원리를 활용하여, 압축 과정 중 일반화 능력과 안정성을 향상시킨다.
• 압축 과정 全 과정 동안 높은 정확도를 유지하는 기준 모델을 유지하여, 프루닝 후 정확도 저하 없음을 보장한다.

실험 결과

연구 질문

• RQ1 가중치 제거 및 복구를 모두 포함하는 확률적 프루닝 전략이 정확도 손실 없이 모델 압축을 향상시킬 수 있는가?
• RQ2 '드롭아웃'과 '드롭인' 간의 동적 상호작용이 반복적 프루닝 과정에서 과적합을 어떻게 줄이는가?
• RQ3 기존 방법에 비해 Drop Pruning이 표준 벤치마크에서 더 높은 압축 비율을 달성할 수 있는가?
• RQ4 드롭 확률의 선택이 압축 모델의 수렴성과 스파arsity에 어떤 영향을 미치는가?
• RQ5 Drop Pruning이 압축 모델에서 드롭아웃 및 Dense-Sparse-Dense 학습의 일반화 이점을 계승하는가?

주요 결과

• Drop Pruning는 CIFAR-10에서 VGG-16에 대해 정확도 손실 없이 11.1×의 압축을 달성한다.
• 이 방법은 MNIST에서 LeNet-5에 대해 원래 모델의 정확도를 유지하면서 14.3×의 압축을 달성한다.
• 확률적 '드롭인' 메커니즘이 돌이킬 수 없는 프루닝 결정을 효과적으로 역전시켜 모델의 강건성을 향상시킨다.
• Drop Pruning는 반복적 프루닝 및 재학습 과정에서 과적합을 크게 감소시킨다.
• 이 방법은 여러 표준 벤치마크 프루닝 작업에서 최신 기준 성능을 보여준다.
• 이 기법은 드롭아웃 및 Dense-Sparse-Dense 학습의 원리를 성공적으로 통합하여 모델의 일반화 능력을 향상시킨다.