[논문 리뷰] Network Pruning That Matters: A Case Study on Retraining Variants

Duong Hoang Le, Binh‐Son Hua|arXiv (Cornell University)|2021. 05. 07.

Advanced Neural Network Applications참고 문헌 37인용 수 17

한 줄 요약

이 논문은 다듬어진 신경망 재학습에서 학습률 스케줄링의 핵심적인 역할을 조사하며, 특히 학습률 재설정을 통한 큰 학습률이 전통적인 미세조정보다 뛰어나게 성능을 높인다는 것을 입증한다. 놀랍게도, 무작위로 다듬은 네트워크를 큰 학습률로 재학습하면 체계적인 다듬기 방법을 사용한 네트워크를 능가할 수 있으며, 이는 재학습 초모수가 다듬기 방법 자체보다 더 중요하다는 것을 드러낸다.

ABSTRACT

Network pruning is an effective method to reduce the computational expense of over-parameterized neural networks for deployment on low-resource systems. Recent state-of-the-art techniques for retraining pruned networks such as weight rewinding and learning rate rewinding have been shown to outperform the traditional fine-tuning technique in recovering the lost accuracy (Renda et al., 2020), but so far it is unclear what accounts for such performance. In this work, we conduct extensive experiments to verify and analyze the uncanny effectiveness of learning rate rewinding. We find that the reason behind the success of learning rate rewinding is the usage of a large learning rate. Similar phenomenon can be observed in other learning rate schedules that involve large learning rates, e.g., the 1-cycle learning rate schedule (Smith et al., 2019). By leveraging the right learning rate schedule in retraining, we demonstrate a counter-intuitive phenomenon in that randomly pruned networks could even achieve better performance than methodically pruned networks (fine-tuned with the conventional approach). Our results emphasize the cruciality of the learning rate schedule in pruned network retraining - a detail often overlooked by practitioners during the implementation of network pruning. One-sentence Summary: We study the effective of different retraining mechanisms while doing pruning

연구 동기 및 목표

• 다듬어진 네트워크 재학습에서 학습률 재설정(LRW)이 전통적인 미세조정보다 우수한 이유를 조사하기 위해.
• LRW의 성공이 특정 스케줄 때문인지 큰 학습률 사용 때문인지 결정하기 위해.
• 복잡한 다듬기 알고리즘을 능가할 수 있는 간단한 재학습 전략(큰 학습률 사용)이 가능한지 평가하기 위해.
• 다듬기 알고리즘 간 공정한 비교를 위해 표준화된 재학습 설정을 권장하기 위해.
• 네트워크 다듬기 파이프라인에서 학습률 스케줄링의 간과된 중요성을 강조하기 위해.

제안 방법

• 다양한 재학습 전략(미세조정, 학습률 재설정(LRW), 학습률 재시작(CLR))을 비교한 광범위한 실험.
• 다듬어진 모델을 재학습하기 위해 1사이클 학습률 스케줄(CLR)을 적용하며, 특히 큰 초기 학습률에 중점을 둔다.
• 균일하게 무작위로 중요도 점수를 사용해 필터를 무작위로 다듬은 후, 큰 학습률로 재학습하여 성능을 평가한다.
• 모든 방법 간에 동일한 초모수를 사용한 표준 학습 레시피를 적용하여 학습률 스케줄링의 영향을 고립시킨다.
• 다양한 압축 비율에서 CIFAR-10, ImageNet 등의 여러 데이터셋과 ResNet, DenseNet, VGG, ResNet-50 등의 모델을 대상으로 성능을 비교한다.
• 다듬기 이후 최종 정확도에 대한 학습률 크기와 스케줄의 영향을 고립하기 위한 분석 실험(ablation studies).

실험 결과

연구 질문

• RQ1 왜 학습률 재설정(LRW)이 다듬어진 네트워크 재학습에서 전통적인 미세조정보다 뛰어나게 성능을 냅니까?
• RQ2 LRW의 성공은 특정 스케줄 때문이지, 큰 학습률 사용 때문인가요?
• RQ3 큰 학습률을 사용하는 단순한 재학습 전략이 복잡한 다듬기 알고리즘을 능가할 수 있나요?
• RQ4 재학습 초모수의 선택이 다듬기 방법 간 비교의 공정성에 영향을 미치나요?
• RQ5 최적의 학습률로 재학습한 경우, 무작위로 다듬은 네트워크가 체계적인 다듬기 방법을 사용한 네트워크와 동등하거나 뛰어난 성능을 낼 수 있나요?

주요 결과

• 학습률 재설정(LRW)이 미세조정을 능가하는 주된 이유는 특정 스케줄와 원래 학습과의 결합이 아니라 큰 학습률 사용 덕분이다.
• 1사이클 스케줄(CLR)을 통해 큰 학습률로 재학습하면, 다듬기 방법이나 압축 비율에 관계없이 모든 모델과 데이터셋에서 성능이 일관되게 향상된다.
• CLR로 재학습한 무작위 다듬기 네트워크가 동일한 다듬기 기준을 사용한 체계적인 다듬기 네트워크보다 더 높은 정확도를 달성했으며, 이는 재학습 초모수가 다듬기 전략을 초월할 수 있음을 보여준다.
• CIFAR-10에서, CLR로 재학습한 무작위 다듬기 모델이 ResNet-110에서 93.40±0.16%의 상위-1 정확도를 기록했으며, HRankPlus의 93.37±0.04%와 MWP의 93.23%를 뛰어넘었다.
• ImageNet에서, CLR로 재학습한 무작위 다듬기 모델이 ResNet-50에서 81% 압축 비율에서 75.54%의 상위-1 정확도를 기록했으며, 유사 압축 수준에서 Taylor Pruning의 75.48%와 PFEC의 73.47%를 초월했다.
• 이 연구는 큰 학습률로 재학습하면 단순한 노름 기반 다듬기 전략이 첨단 다듬기 알고리즘과 경쟁할 수 있음을 드러내며, 복잡한 다듬기 메트릭이 필수적이라는 가정을 도전한다.