[논문 리뷰] Robust Pruning at Initialization

Soufiane Hayou, Jean-François Ton외 2명|arXiv (Cornell University)|2020. 02. 19.

Advanced Neural Network Applications참고 문헌 38인용 수 7

한 줄 요약

이 논문은 네트워크 초기화 시점에서 수행되는 새로운 프루닝 방법인 SBP-SR를 제안하며, 에지 오브 코스믹스(EoC) 상태를 유지하기 위해 재스케일링과 재파rameterization를 활용함으로써, 프루닝된 모델이 여전히 훈련 가능하도록 보장한다. 이 방법은 CIFAR10, CIFAR100, TinyImageNet, ImageNet에서 높은 정확도를 달성하며, 99.5% 및 99.9%의 극한의 희박성 수준에서도 기존의 일회성 프루닝 방법들인 SNIP을 능가한다.

ABSTRACT

Overparameterized Neural Networks (NN) display state-of-the-art performance. However, there is a growing need for smaller, energy-efficient, neural networks tobe able to use machine learning applications on devices with limited computational resources. A popular approach consists of using pruning techniques. While these techniques have traditionally focused on pruning pre-trained NN (LeCun et al.,1990; Hassibi et al., 1993), recent work by Lee et al. (2018) has shown promising results when pruning at initialization. However, for Deep NNs, such procedures remain unsatisfactory as the resulting pruned networks can be difficult to train and, for instance, they do not prevent one layer from being fully pruned. In this paper, we provide a comprehensive theoretical analysis of Magnitude and Gradient based pruning at initialization and training of sparse architectures. This allows us to propose novel principled approaches which we validate experimentally on a variety of NN architectures.

연구 동기 및 목표

• 일시성 프루닝이 초기화 단계에서 전체 레이어가 제거되어 모델이 훈련 불가가 되는 불안정성 문제를 해결하기 위해.
• 깊은 신경망에서 EoC 상태와 일치하지 않을 경우, 크기 기반 및 기울기 기반 프루닝이 실패하는 이유를 이론적으로 분석하기 위해.
• EoC 동역학을 유지함으로써 프루닝된 네트워크의 훈련 가능성을 복원하기 위한 체계적인 재스케일링 및 재파라미터화 기법을 개발하기 위해.
• 다양한 아키텍처와 데이터셋에서 제안된 방법을 검증하여, 높은 희박성 수준에서도 뛰어난 성능을 보여주기 위해.

제안 방법

• 초기화 시 가중치와 기울기의 곱의 크기, 즉 |W ∂ℒ/∂W|를 사용하여 덜 중요한 연결을 식별하고 제거하는 감도 기반 프루닝(SBP)을 제안한다.
• 프루닝된 레이어의 분산을 조정함으로써 네트워크를 에지 오브 코스믹스(EoC) 상태로 복원하는 재스케일링 기법을 도입하여 안정적인 기울기 흐름을 확보한다.
• ResNet 아키텍처의 경우, 폭발하는 기울기를 완화하고 프루닝 이후에도 EoC 동역학을 유지하기 위해 '안정적 ResNet'(SR)이라는 재파라미터화 기법을 제안한다.
• 베르누이 마스크를 사용한 계층별 프루닝 전략을 통해 공분산 구조를 체계적으로 제어하고, 하위망이 여전히 EoC 상태를 유지하도록 보장한다.
• 평균장 근사법을 활용하여 기울기 전파를 이론적으로 분석하고, 프루닝이 훈련 가능성을 유지할 수 있는 조건을 유도한다.
• ResNet, FFNN, CNN 아키텍처에서 CIFAR10, CIFAR100, TinyImageNet, ImageNet에 걸쳐 광범위한 실험을 수행하여 방법을 검증한다.

실험 결과

연구 질문

• RQ1 초기화 단계에서의 일시성 프루닝이 깊은 신경망에서 레이어 붕괴와 훈련 불가 문제를 해결할 수 있는가?
• RQ2 완전히 연결된 신경망과 컨볼루션 신경망에서 초기화 단계의 효과적인 프루닝을 위해 에지 오브 코스믹스(EoC) 상태가 필수적인가?
• RQ3 재스케일링 및 재파라미터화 기법을 통해 프루닝으로 인해 EoC 상태에서 벗어난 네트워크의 훈련 가능성이 복원될 수 있는가?
• RQ4 임의의 초기화로부터 시작하더라도, EoC 상태에서 초기화된 하위망에 대해 룩업 티켓 가설(Lottery Ticket Hypothesis)이 성립하는가?
• RQ5 SBP-SR은 다양한 벤치마크에서 극한의 희박성 수준에서도 최고 성능을 달성할 수 있는가?

주요 결과

• CIFAR10에서 ResNet104를 사용할 때, 90%의 희박성 수준에서 SBP-SR은 94.69%의 테스트 정확도를 달성하며, SNIP의 93.25%를 능가한다.
• 99.5%의 희박성 수준에서 SBP-SR은 ResNet104에서 87.47%의 정확도를 유지하지만, SNIP은 33.63%로 급격히 하락한다.
• 99.9%의 희박성 수준에서 SBP-SR은 ResNet104에서 72.70%의 정확도를 달성하며, SNIP은 10.11%로 떨어진다.
• ResNet32에서는 90%의 희박성 수준에서 SBP-SR이 92.56%의 정확도를 기록하며, SNIP의 92.26%를 略로 초월한다.
• 이론적 분석을 통해 적절한 재스케일링을 통해 프루닝이 EoC 상태를 유지할 수 있음을 확인하였으며, 이는 안정적인 훈련을 가능하게 한다.
• 약한 룩업 티켓 가설이 입증되었다: 임의의 초기화에서 σw > σw,EOC 조건을 만족하는 경우, 항상 EoC 상태에서 초기화된 하위망이 존재한다.