[논문 리뷰] Sparse Training via Boosting Pruning Plasticity with Neuroregeneration

Shiwei Liu, Tianlong Chen외 8명|arXiv (Cornell University)|2021. 06. 19.

Advanced Memory and Neural Computing참고 문헌 76인용 수 13

한 줄 요약

이 논문은 GraNet을 소개한다. GraNet은 훈련 중 프루닝 성능을 향상시키기 위해 '제로코스트 뉴로리그레너이션'(pruned connections를 새로운 연결로 대체함)을 통합한 새로운 스파스 훈련 방법이다. 이를 통해 프루닝 유연성(plasticity)이 향상된다. GraNet은 ResNet-50 기반 ImageNet에서 밀도-스파스, 스파스-스파스 훈련 모두에서 최신 기술 수준(SOTA) 성능을 달성하며, 훈련 시간을 연장하지 않아도 기존 방법을 능가한다.

ABSTRACT

Works on lottery ticket hypothesis (LTH) and single-shot network pruning (SNIP) have raised a lot of attention currently on post-training pruning (iterative magnitude pruning), and before-training pruning (pruning at initialization). The former method suffers from an extremely large computation cost and the latter usually struggles with insufficient performance. In comparison, during-training pruning, a class of pruning methods that simultaneously enjoys the training/inference efficiency and the comparable performance, temporarily, has been less explored. To better understand during-training pruning, we quantitatively study the effect of pruning throughout training from the perspective of pruning plasticity (the ability of the pruned networks to recover the original performance). Pruning plasticity can help explain several other empirical observations about neural network pruning in literature. We further find that pruning plasticity can be substantially improved by injecting a brain-inspired mechanism called neuroregeneration, i.e., to regenerate the same number of connections as pruned. We design a novel gradual magnitude pruning (GMP) method, named gradual pruning with zero-cost neuroregeneration ( extbf{GraNet}), that advances state of the art. Perhaps most impressively, its sparse-to-sparse version for the first time boosts the sparse-to-sparse training performance over various dense-to-sparse methods with ResNet-50 on ImageNet without extending the training time. We release all codes in https://github.com/Shiweiliuiiiiiii/GraNet.

연구 동기 및 목표

• 훈련 중 프루닝의 성능 격차를 해소하기 위해 프루닝 유연성의 이해와 향상.
• 생물학적 신경 회복에 영감을 받은 뉴로리그레너이션 기법이 프루닝된 네트워크의 성능 복구 능력을 향상시킬 수 있는지 탐색.
• 계산 비용을 증가시키지 않고도 고성능 스파스 훈련을 가능하게 하는 파라미터 효율적인 방법 개발.
• 밀도-스파스 및 스파스-스파스 훈련 환경에서 최신 기술 수준의 성능 향상.
• 훈련 시간 연장이 라우팅 티켓 재초기화나 학습률 복귀 기법보다 더 효과적인지 입증.

제안 방법

• 각 프루닝 단계 이후 제로코스트 뉴로리그레너이션을 통합한 새로운 점진적 크기 프루닝(GMP) 방법인 GraNet을 제안.
• 프루닝된 연결 수와 동일한 수의 재생된 연결을 사용하며, 동일한 초기 무작위 가중치를 적용하여 네트워크 용량을 복원.
• 훈련 중에 점진적이고 반복적인 방식으로 프루닝과 재생을 적용하여, 스파arsity를 유지하면서도 유연성을 향상.
• 각 단계에서 낮은 중요도의 가중치를 식별하고 제거하기 위해 크기 기반 프루닝을 적용.
• 고정된 프루닝 비율을 단계별로 적용하고, 재훈련이나 학습률 복귀를 피하며, 성능 향상을 위해 훈련 시간 연장에 의존.
• 초기 FLOP 오버헤드를 상쇄하기 위해 후기 단계에서 FLOP 감소를 유도하는 훈련 프로토콜 설계로 효율성 향상.

실험 결과

연구 질문

• RQ1 프루닝 비율과 학습률에 따라 프루닝 유연성(프루닝된 네트워크가 원래 성능을 복구할 수 있는 능력)은 어떻게 변하는가?
• RQ2 뇌에 영감을 받은 뉴로리그레너이션 메커니즘이 훈련 중 프루닝 유연성을 향상시킬 수 있는가?
• RQ3 GraNet에서의 제로코스트 뉴로리그레너이션은 표준 GMP보다 더 나은 서브넷 발견을 이끌어내는가?
• RQ4 GraNet은 훈련 시간을 연장하지 않아도 밀도-스파스 및 스파스-스파스 훈련 모두에서 최신 기술 수준의 성능을 달성할 수 있는가?
• RQ5 라우팅 티켓 재초기화나 학습률 복귀와 같은 재훈련 기법이 GraNet의 성능을 추가로 향상시킬 수 있는가?

주요 결과

• 학습률 감소가 두 번째 단계 이후로 진행될 경우 프루닝 유연성이 크게 감소하여, 조기 프루닝이 최적임을 설명.
• 낮은 프루닝 비율(예: 0.2)이 높은 비율보다 더 나은 복구 성능을 보이며, 이는 점진적 크기 프루닝의 성공과 일치.
• GraNet의 ResNet-50 기반 스파스-스파스 훈련은 90% 스파arsity에서 95.09%의 top-1 정확도를 달성하여, 훈련 시간 연장 없이도 밀도-스파스 기준선을 초월.
• GraNet의 서브넷을 무작위로 재초기화하면 성능이 크게 떨어지며, 연결 구조와 가중치 모두 학습된 상태임을 확인.
• 훈련 시간을 2배로 연장하면, 라우팅 티켓 재초기화나 학습률 복귀 기법보다 GraNet의 성능 향상이 더 효과적임.
• CIFAR-100에서 98% 스파arsity일 때 GraNet의 성능(73.63% top-1)은 기준 GMP 및 다른 SOTA 방법을 초월하여 고스파arsity에서도 뛰어난 강건성을 입증.