[논문 리뷰] Really should we pruning after model be totally trained? Pruning based on a small amount of training.

Yue Li, Weibin Zhao외 1명|arXiv (Cornell University)|2019. 01. 24.

Advanced Neural Network Applications참고 문헌 33인용 수 4

한 줄 요약

이 논문은 미리 훈련된 데이터를 최소한으로 사용하는(단 몇 에포크만) 새로운 프루닝 알고리즘인 증분 프루닝 기반 적은 훈련(IPLT)을 제안한다. 이 알고리즘은 훈련 중에 점진적으로 프루닝을 적용함으로써 경쟁력 있는 모델 압축과 가속화를 달성한다. CIFAR-10에서 VGG-19에 적용했을 때 IPLT는 8배에서 9배의 모델 압축과 동시에 훈련 및 추론 단계에서 최대 10배의 가속도를 달성하며, 효과적인 프루닝을 위해 광범위한 사전 훈련이 필수적이라는 기존의 가정에 도전한다.

ABSTRACT

Pre-training of models in pruning algorithms plays an important role in pruning decision-making. We find that excessive pre-training is not necessary for pruning algorithms. According to this idea, we propose a pruning algorithm---Incremental pruning based on less training (IPLT). Compared with the traditional pruning algorithm based on a large number of pre-training, IPLT has competitive compression effect than the traditional pruning algorithm under the same simple pruning strategy. On the premise of ensuring accuracy, IPLT can achieve 8x-9x compression for VGG-19 on CIFAR-10 and only needs to pre-train few epochs. For VGG-19 on CIFAR-10, we can not only achieve 10 times test acceleration, but also about 10 times training acceleration. At present, the research mainly focuses on the compression and acceleration in the application stage of the model, while the compression and acceleration in the training stage are few. We newly proposed a pruning algorithm that can compress and accelerate in the training stage. It is novel to consider the amount of pre-training required by pruning algorithm. Our results have implications: Too much pre-training may be not necessary for pruning algorithms.

연구 동기 및 목표

• 광범위한 사전 훈련이 효과적인 신경망 프루닝을 위해 필수적이라는 가정을 도전하기 위해.
• 훈련 단계 동안 모델 압축과 가속화를 가능하게 하는 프루닝 알고리즘을 개발하기 위해.
• 높은 정확도와 압축 효율성을 유지하면서도 사전 훈련의 양을 최소화하기 위해.
• 감소된 사전 훈련 조건에서도 전통적인 방법과 경쟁 가능한 프루닝 성능을 달성할 수 있는지 탐색하기 위해.

제안 방법

• IPLT는 사전 훈련 후가 아니라 훈련 중에 단계적으로 프루닝을 적용하는 증분 프루닝 전략을 도입한다.
• 알고리즘은 사전 훈련 단계를 크게 줄이기 위해 소수의 초기 훈련 에포크를 기반으로 프루닝을 수행한다.
• 모델 정확도를 유지하면서 점진적으로 불필요한 파라미터를 제거하는 단순한 프루닝 전략을 사용한다.
• 프루닝을 훈련 루프에 직접 통합하여 모델 최적화 과정과 동시에 압축과 가속화를 실현한다.
• 가중치 크기 기반 프루닝 결정을 사용하지만, 최소한의 사전 훈련 이후에 점진적으로 적용한다.
• 표준 훈련 파이프라인과 호환되도록 설계되어 있으며, 아키텍처나 훈련 절차의 변경을 최소화한다.

실험 결과

연구 질문

• RQ1 기존 방법과 비교해 훨씬 줄어든 사전 훈련으로 효과적인 신경망 프루닝을 달성할 수 있는가?
• RQ2 사전 훈련에 의존하는 전통적 프루닝 방식에 비해, 훈련 중에 점진적으로 프루닝을 적용하는 것이 우월하거나 동등한 성능을 낼 수 있는가?
• RQ3 경쟁적인 압축과 가속화를 달성하기 위해 필요한 최소한의 사전 훈련 시간은 얼마인가?
• RQ4 훈련 과정에 효과적으로 프루닝을 통합하여 훈련 및 추론을 모두 가속화할 수 있는가?
• RQ5 사전 훈련을 줄이면 모델 정확도나 압축 효율성에 성능 저하가 발생하는가?

주요 결과

• IPLT는 CIFAR-10에서 VGG-19에 대해 단 몇 에포크의 사전 훈련만으로도 8배에서 9배의 모델 압축을 달성했으며, 전통적 방법과 동등하거나 이를 초월하는 성능을 보였다.
• 이 방법은 훈련 및 추론 단계에서 최대 10배의 가속도를 제공하여 계산 비용을 크게 감소시켰다.
• 최소한의 사전 훈련에도 불구하고 IPLT는 높은 테스트 정확도를 유지하여 광범위한 사전 훈련이 효과적인 프루닝을 위해 필수적이라는 것이 아님을 입증했다.
• 알고리즘이 훈련 초기 단계부터 프루닝을 효과적으로 적용할 수 있음을 보여주며, 압축과 가속화를 동시에 실현한다.
• 결과적으로, 장기간의 사전 훈련 단계가 성공적인 프루닝을 위해 필수적이라는 일반적인 가정을 도전하며, 사전 훈련 시간을 극적으로 줄일 수 있음을 시사한다.