[논문 리뷰] Sanity-Checking Pruning Methods: Random Tickets can Win the Jackpot

Jingtong Su, Yihang Chen외 5명|arXiv (Cornell University)|2020. 09. 22.

Software Testing and Debugging Techniques참고 문헌 46인용 수 13

한 줄 요약

이 논문은 신경망 프루닝의 核심 가정을 도전하며, 데이터에 의존하는 '초기 티켓'과는 달리, 무작위로 선택된 서브넷인 '무작위 티켓'이 비구조적 프루닝에서 성능을 유사하거나 초월할 수 있음을 보여준다. 훈련 데이터를 손상시키고 프루닝된 가중치를 계층적으로 재배열하는 사고 실험을 통해, 성능 향상에 있어 데이터 의존성이나 아키텍처의 구조적 특성이 필수적이지 않음을 입증하며, 새로운 제로샷 방법인 '무작위 티켓'과 정확도를 추가로 향상시키는 하이브리드 접근법을 제안한다.

ABSTRACT

Network pruning is a method for reducing test-time computational resource requirements with minimal performance degradation. Conventional wisdom of pruning algorithms suggests that: (1) Pruning methods exploit information from training data to find good subnetworks; (2) The architecture of the pruned network is crucial for good performance. In this paper, we conduct sanity checks for the above beliefs on several recent unstructured pruning methods and surprisingly find that: (1) A set of methods which aims to find good subnetworks of the randomly-initialized network (which we call "initial tickets"), hardly exploits any information from the training data; (2) For the pruned networks obtained by these methods, randomly changing the preserved weights in each layer, while keeping the total number of preserved weights unchanged per layer, does not affect the final performance. These findings inspire us to choose a series of simple \emph{data-independent} prune ratios for each layer, and randomly prune each layer accordingly to get a subnetwork (which we call "random tickets"). Experimental results show that our zero-shot random tickets outperform or attain a similar performance compared to existing "initial tickets". In addition, we identify one existing pruning method that passes our sanity checks. We hybridize the ratios in our random ticket with this method and propose a new method called "hybrid tickets", which achieves further improvement. (Our code is publicly available at https://github.com/JingtongSu/sanity-checking-pruning)

연구 동기 및 목표

• 프루닝 방법이 효과적인 서브넷을 찾기 위해 훈련 데이터를 활용해야 한다는 널리 퍼진 믿음을 도전하기 위해.
• 프루닝된 네트워크의 아키텍처적 구조가 성능에 진정으로 필수적인지 테스트하기 위해.
• 경쟁적 또는 우수한 성능을 내는 데이터 독립적 제로샷 프루닝 방법을 개발하기 위해.
• 엄격한 사고 실험을 통과하는 프루닝 방법을 식별하고, 이를 하이브리드로 조합하여 성능 향상을 이루기 위해.

제안 방법

• 두 가지 사고 실험을 제안: 프루닝 단계에서 훈련 데이터를 손상시키기와, 구조를 파괴하면서도 희소성은 유지하는 계층별 가중치 재배치.
• ICLR 2019–2020의 최근 4종의 비구조적 프루닝 방법을 적용하여, '초기 티켓'과 '부분적으로 훈련된 티켓'으로 분류.
• 고정된, 데이터 독립적인 계층별 프루닝 비율을 적용하고, 훈련 데이터를 사용하지 않고 무작위로 가중치를 유지함으로써 '무작위 티켓'을 설계.
• 사고 실험을 통과하는 기존 방법 중 하나인 학습률 재설정을 식별하고, 이 방법의 계층별 프루닝 비율을 무작위 티켓과 조합하여 '하이브리드 티켓'을 생성.
• CIFAR-10과 CIFAR-100에서 성능 평가를 위해 표준 재훈련을 통해 최종 서브넷을 훈련.
• 계층별 재배치를 악성 테스트로 활용하여, 성능가 아키텍처 변화에 대해 불변함을 입증함으로써 메서드의 강건성을 확인.

실험 결과

연구 질문

• RQ1 프루닝 방법이 효과적인 서브넷을 찾기 위해 훈련 데이터의 정보를 진정으로 필요로 하는가?
• RQ2 프루닝된 네트워크의 특정 아키텍처가 높은 성능을 내는 데 필수적인가?
• RQ3 데이터 독립적 제로샷 프루닝 방법이 데이터 의존적 '초기 티켓' 접근법을 능가하거나 동등하게 성능을 낼 수 있는가?
• RQ4 사고 실험을 통과하는 프루닝 방법과 무작위 프루닝 비율을 조합한 하이브리드 방법이 성능 향상에 기여할 수 있는가?

주요 결과

• 초기 티켓으로 분류된 프루닝 방법은 훈련 데이터를 손상시켜도 성능에 영향을 주지 않아, 훈련 데이터를 의미 있게 활용하지 않는 것으로 나타났다.
• 유지된 가중치를 계층별로 재배열함으로써 원래 아키텍처를 파괴하더라도 성능 저하가 발생하지 않아, 아키텍처의 구조적 특성이 필수적이지 않음을 시사한다.
• 고정된, 데이터 독립적인 계층별 프루닝 비율을 사용해 생성된 무작위 티켓은 CIFAR-10과 CIFAR-100에서 초기 티켓과 유사하거나 뛰어난 성능을 보였다.
• 학습률 재설정의 프루닝 비율을 무작위 티켓 초기화와 조합한 하이브리드 티켓 방법은 특히 높은 희소성 수준에서 정확도 향상을 이끌어냈다.
• VGG19를 사용해 CIFAR-10에서 98%의 희소성로 실험한 결과, 하이브리드 티켓은 93.52%의 정확도를 기록했으며, 학습률 재설정(10.00%)과 OBD(93.49%)를 모두 능가해 뚜렷한 성능 향상을 보였다.
• 동시에 발표된 연구를 통해 ImageNet에서도 결과가 일반화됨을 확인했으며, 이는 본 연구 결과가 소규모 데이터셋에 국한되지 않음을 시사한다.