[논문 리뷰] Sparse Networks from Scratch: Faster Training without Losing Performance

Tim Dettmers, Luke Zettlemoyer|arXiv (Cornell University)|2019. 07. 10.

Advanced Neural Network Applications참고 문헌 38인용 수 191

한 줄 요약

본 논문은 임의 초기화에서 완전 희소 네트워크를 학습하기 위해 희소 모멘텀을 도입하고 CIFAR-10에서 최대 5.61배의 학습 속도 향상을 달성하며 ImageNet에서 경쟁력 있는 결과를 얻는다.

ABSTRACT

We demonstrate the possibility of what we call sparse learning: accelerated training of deep neural networks that maintain sparse weights throughout training while achieving dense performance levels. We accomplish this by developing sparse momentum, an algorithm which uses exponentially smoothed gradients (momentum) to identify layers and weights which reduce the error efficiently. Sparse momentum redistributes pruned weights across layers according to the mean momentum magnitude of each layer. Within a layer, sparse momentum grows weights according to the momentum magnitude of zero-valued weights. We demonstrate state-of-the-art sparse performance on MNIST, CIFAR-10, and ImageNet, decreasing the mean error by a relative 8%, 15%, and 6% compared to other sparse algorithms. Furthermore, we show that sparse momentum reliably reproduces dense performance levels while providing up to 5.61x faster training. In our analysis, ablations show that the benefits of momentum redistribution and growth increase with the depth and size of the network. Additionally, we find that sparse momentum is insensitive to the choice of its hyperparameters suggesting that sparse momentum is robust and easy to use.

연구 동기 및 목표

• 희소 학습을 가속화하되 정확도 손실 없이 달성하는 방법으로 제시한다.
• 학습 전반에 걸쳐 희소성을 유지하는 실용적 알고리즘(희소 모멘텀)을 개발하고 검증한다.
• MNIST, CIFAR-10, ImageNet에서 최첨단 희소 성능을 입증한다.
• 속도 향상을 정량화하고 하이퍼파라미터 및 네트워크 깊이에 대한 강건성을 분석한다.

제안 방법

• 지수적으로 평활화된 기울기(모멘텀)를 사용하여 층 및 가중치의 효율성을 측정한다.
• 에폭마다 가장 작은 크기의 가중치를 일정 비율로 제거한다.
• 층별 평균 모멘텀 크기에 비례하여 제거된 가중치를 층 간에 재분배한다.
• 모멘텀 크기가 가장 큰 누락 연결에 새로운 가중치를 성장시킨다.
• 데이터셋에 걸쳐 압축 및 기타 희소 학습 방법과 비교한다.
• Dense 기준선을 사용하여 Dense 성능의 유지 여부와 속도 향상을 평가한다.

실험 결과

연구 질문

• RQ1 임의 초기화에서 학습된 희소 네트워크가 재학습 없이 Dense 성능에 도달할 수 있는가?
• RQ2 모멘텀 기반 재분배 및 성장이 네트워크의 깊이와 크기가 커질 때 학습 효율과 정확도를 향상시키는가?
• RQ3 MNIST, CIFAR-10, ImageNet 전반에 걸쳐 Dense 성능을 맞추기 위한 속도 향상과 가중치 요구량은 어느 정도인가?
• RQ4 prune 비율과 모멘텀 하이퍼파라미터에 대해 희소 모멘텀의 강건성은 어느 정도인가?

주요 결과

Model	Dense Error (%)	SNIP	Momentum	Weights (%)
AlexNet-s	12.95 ± 0.056	14.99	14.27 ± 0.123	10
AlexNet-b	12.85 ± 0.068	14.50	13.56 ± 0.094	10
VGG16-C	6.49 ± 0.038	7.27	7.00 ± 0.054	5
VGG16-D	6.59 ± 0.050	7.09	6.69 ± 0.049	5
VGG16-like	6.50 ± 0.054	8.00	7.00 ± 0.077	3
WRN-16-8	4.57 ± 0.022	6.63	5.62 ± 0.056	5
WRN-16-10	4.45 ± 0.040	6.43	5.24 ± 0.052	5
WRN-22-8	4.26 ± 0.032	5.85	4.93 ± 0.056	5

• 희소 모멘텀은 MNIST, CIFAR-10, ImageNet에서 Dense 등가의 성능을 훨씬 적은 가중치(예: 여러 모델에서 5–10%)로 달성한다.
• CIFAR-10에서 희소성은 희소 컨볼루션의 2.74배~5.61배 속도 향상을 가능하게 하며(WRN에서 최대 5.61배)
• ImageNet의 경우 희소 모멘텀은 여러 희소 기준선보다 더 나은 Top-1 정확도를 달성하며, 10–20%의 가중치로도 경쟁력 있는 결과를 얻는다.
• 네트워크가 깊어질수록 모멘텀 재분배 및 성장이 더욱 중요해진다(예: ImageNet의 ResNet-50).
• 이 방법은 prune 비율(0.2–0.5)과 모멘텀 값(0.7–0.9)에 대해 강건하며 하이퍼파라미터 튜닝이 최소로 필요하다.