[논문 리뷰] SNIP: Single-shot Network Pruning based on Connection Sensitivity

Namhoon Lee, Thalaiyasingam Ajanthan외 1명|arXiv (Cornell University)|2018. 10. 04.

Advanced Neural Network Applications참고 문헌 29인용 수 363

한 줄 요약

SNIP은 훈련 전에 네트워크의 중요한 연결을 식별하고, 연결 가지치기가 손실에 어떤 영향을 미칠지 측정한 다음 목표 희소성으로 가지치기를 수행하고 그 결과 희소 네트워크를 훈련시켜, 다양한 아키텍처에서 극단적인 희소성에도 거의 원래 정확도에 근접한 성능을 달성한다.

ABSTRACT

Pruning large neural networks while maintaining their performance is often desirable due to the reduced space and time complexity. In existing methods, pruning is done within an iterative optimization procedure with either heuristically designed pruning schedules or additional hyperparameters, undermining their utility. In this work, we present a new approach that prunes a given network once at initialization prior to training. To achieve this, we introduce a saliency criterion based on connection sensitivity that identifies structurally important connections in the network for the given task. This eliminates the need for both pretraining and the complex pruning schedule while making it robust to architecture variations. After pruning, the sparse network is trained in the standard way. Our method obtains extremely sparse networks with virtually the same accuracy as the reference network on the MNIST, CIFAR-10, and Tiny-ImageNet classification tasks and is broadly applicable to various architectures including convolutional, residual and recurrent networks. Unlike existing methods, our approach enables us to demonstrate that the retained connections are indeed relevant to the given task.

연구 동기 및 목표

• 메모리 및 계산을 줄이기 위해 대형 네트워크 가지치를 적용하고, 성능 손실 없이.
• 데이터 의존적 중요도 기준을 제안하여 학습 전에 구조적으로 중요한 연결을 식별한다.
• 초기화 시 단일 샷 가지치를 가능하게 하여 사전 학습 및 반복적인 가지치기–학습 사이클의 필요성을 제거한다.
• 다양한 아키텍처와 데이터셋에 걸친 방법의 강건성을 입증한다.

제안 방법

• 가지치를 희소성 제어로 모델링하기 위해 이진 연결 지시자 c와 가중치 벡터 w를 정의한다.
• 손실에 대한 c_j의 도함수의 정규화된 크기로 연결 민감도 s_j를 계산한다: s_j = |g_j(w; D)| / sum_k |g_k(w; D)|, 여기서 g_j = ∂L(c ⊙ w; D)/∂c_j |_{c=1}.
• 상위 kappa개의 연결을 보존하고, 가장 큰 s_j를 가진 kappa에 대해 c_j = 1, 나머지에 대해서는 0으로 설정한다.
• 가지치 마스크를 사용하여 초기화 시 min_w L(c ⊙ w; D)를 풀어 한 번 가지치고, 그 다음 표준 방식으로 희소 네트워크를 학습한다.
• 초기화는 가중치의 분산 규모 조정을 통해 다양한 아키텍처에서도 일관된 기울기 신호를 보장한다.
• 샘플 소량의 미니배치를 이용해 중요도를 계산하고, 배치 간 축적하거나 메모리가 허용되면 검증 세트/전체 데이터를 사용할 수 있도록 유연성을 제공한다.
• Algorithm SNIP은 네 단계로 진행된다: 미니배치에서 s_j를 계산하고, s_j로부터 가지치 마스크를 도출하고, 마스크 아래에서 w를 최적화한 다음, 학습된 가중치에 마스크를 최종 적용한다.

실험 결과

연구 질문

• RQ1 데이터 의존적 중요도 기준이 학습 전에 중요한 연결을 식별할 수 있는가?
• RQ2 다양한 아키텍처와 데이터셋에 걸쳐 눈에 띄는 정확도 손실 없이 얼마나 많은 희소성을 달성할 수 있는가?
• RQ3 초기화 시 가지치기가 아키텍처 유형(CNN, 잔차, RNN) 및 초기화 방식에 대해 강건한가?
• RQ4 입력 데이터에 대해 살펴보면 유지된 연결이 실제로 태스크와 관련이 있는지 여부를 방법이 밝히는가?
• RQ5 민배치(mini-batch)를 사용한 중요도 계산이 가지치 결과 및 최종 성능에 어떤 영향을 미치는가?

주요 결과

• SNIP은 MNIST, CIFAR-10, Tiny-ImageNet에서 다양한 아키텍처에 걸쳐 참조 네트워크와 거의 동일한 정확도를 가진 극히 희소한 모델을 생성한다.
• LeNet-300-100에서 최대 98%, LeNet-5-Caffe에서 99%의 가지치기도 다층 밀집 기준선과 유사하거나 더 나은 정확도를 달성한다.
• 이 방법은 합성곱, 잔차 및 순환 네트워크에 일반화되며 아키텍처 특정 가지치기 스케줄이나 사전 학습 없이도 작동한다.
• 중요도 기반 가지치기는 유지된 연결이 판별 가능한 입력 특징과 일치한다는 것을 보여 주며, 실제 태스크 관련성을 시사한다.
• 추가 하이퍼파라미터나 사전 학습 없이도 기존 가지치기 방법들 가운데 경쟁력 있거나 그 이상인 성능을 유지한다.