[논문 리뷰] A Signal Propagation Perspective for Pruning Neural Networks at Initialization

Namhoon Lee, Thalaiyasingam Ajanthan외 2명|arXiv (Cornell University)|2019. 06. 14.

Advanced Neural Network Applications참고 문헌 15인용 수 19

한 줄 요약

이 논문은 초기화 시에 신경망을 프루닝하는 데 효과적인 이유를 설명하고 향상시키기 위해 신호 전파 관점에서 접근한다. 이는 계층별 동적 등장성(dynamical isometry) — 계층의 자코비안 행렬의 특이값이 1에 가까운 상태 — 이 신뢰할 수 있는 연결 민감도 측정을 보장함을 보여준다. 데이터 없이 정규화를 통해 프루닝된 네트워크에서 직교성을 유지함으로써, 학습 가능성과 일반화 성능을 크게 향상시켰으며, 극단적인 희박성 수준에서도 밀도 기반 기준 모델을 능가한다.

ABSTRACT

Network pruning is a promising avenue for compressing deep neural networks. A typical approach to pruning starts by training a model and then removing redundant parameters while minimizing the impact on what is learned. Alternatively, a recent approach shows that pruning can be done at initialization prior to training, based on a saliency criterion called connection sensitivity. However, it remains unclear exactly why pruning an untrained, randomly initialized neural network is effective. In this work, by noting connection sensitivity as a form of gradient, we formally characterize initialization conditions to ensure reliable connection sensitivity measurements, which in turn yields effective pruning results. Moreover, we analyze the signal propagation properties of the resulting pruned networks and introduce a simple, data-free method to improve their trainability. Our modifications to the existing pruning at initialization method lead to improved results on all tested network models for image classification tasks. Furthermore, we empirically study the effect of supervision for pruning and demonstrate that our signal propagation perspective, combined with unsupervised pruning, can be useful in various scenarios where pruning is applied to non-standard arbitrarily-designed architectures.

연구 동기 및 목표

• 초기화 시 무작위 가중치가 존재함에도 불구하고 프루닝이 효과적인 이유를 이해하는 것.
• 연결 민감도(프루닝 기준으로 사용됨)를 신뢰성 있게 측정할 수 있는 이론적 조건을 정식화하는 것.
• 신호 전파 특성을 분석하고 복원함으로써, 프루닝된 희박한 네트워크의 학습 가능성을 향상시키는 것.
• 감독 없이 비감독 대체 손실 함수를 사용하여 프루닝을 수행할 수 있는지 조사하는 것.
• 초기화 시 프루닝을 통해 표준 모델보다 더 나은 희박한 아키텍처를 발견할 수 있는 신경망 아키텍처 설ulpt링(neural architecture sculpting)이 가능할지 탐색하는 것.

제안 방법

• 연결 민감도를 기울기 기반 측정으로 정의하고, 그 신뢰성이 신호 전파의 정확성에 달려 있음을 밝힘.
• 계층별 동적 등장성(dynamical isometry)을 도입하여, 연결 민감도의 정확성을 보장하는 충분조건을 제시함. 이는 계층 자코비안 행렬의 특이값이 1에 집중되어 있음을 의미함.
• 데이터 없이 두 단계로 구성된 방법을 제안: 첫 번째로 연결 민감도를 기반으로 프루닝을 수행하고, 두 번째로 계층별 직교성을 강제하여 신호 전파를 복원함.
• 다양한 아키텍처(예: ResNet, 넓은 잔차 네트워크)에 이 방법을 적용하고 이미지 분류 작업에서 성능을 평가함.
• 비감독 대체 손실 함수(예: 오토인코더 손실)를 사용하여 레이블 없이도 연결 민감도를 계산함으로써, 비감독 프루닝을 가능하게 함.
• 더 큰, 임의로 설계된 네트워크를 기반으로 초기화 시 프루닝을 통해 기준 밀도 모델의 파라미터 수와 동일한 수의 파라미터를 갖는 희박한 아키텍처를 도출하고, 테스트 정확도를 비교함.

실험 결과

연구 질문

• RQ1 초기화 시 프루닝이 무작위 초기화에도 불구하고 효과적인 이유는 무엇이며, 신뢰할 수 있는 연결 민감도 측정을 보장하는 조건은 무엇인가?
• RQ2 프루닝된 네트워크에서의 신호 전파가 학습 가능성에 미치는 영향은 무엇이며, 프루닝 후 이를 복원할 수 있는가?
• RQ3 비감독 대체 손실 함수를 사용하여 효과적인 프루닝을 달성할 수 있는가?
• RQ4 초기화 시 프루닝을 통해 동일한 파라미터 수를 가진 표준 밀도 모델보다 성능이 뛰어난 희박한 아키텍처를 발견할 수 있는가?
• RQ5 프루닝 중에 동적 등장성을 유지할 경우 일반화 성능과 학습 안정성이 얼마나 향상되는가?

주요 결과

• 모든 계층의 자코비안 행렬 특이값이 1에 가까운 계층별 동적 등장성(layerwise dynamical isometry)은 초기화 시 프루닝 동안 신뢰할 수 있는 연결 민감도 측정을 보장하는 충분조건이다.
• 프루닝은 동적 등장성을 깨뜨리며, 이는 희박한 네트워크에서의 신호 전파를 악화시키고 학습 가능성을 떨어뜨림을 의미한다. 이는 수정되지 않은 프루닝 방법에서 성능이 열악한 이유를 설명한다.
• 제안된 데이터 없는 방법을 통해 계층별 직교성을 복원함으로써, 프루닝된 네트워크의 학습 성능과 일반화 능력이 크게 향상됨.
• CIFAR-10에서 밀도 기반 ResNet20 기준 모델과 동일한 파라미터 수를 가진 프루닝된 희박한 네트워크가 일반화 오차를 더 낮게 기록함(예: 4.8% vs. 5.2%), 뛰어난 성능을 입증함.
• 비감독 프루닝을 위해 대체 손실 함수(예: 오토인코더 손실)를 사용했을 때, 감독 프루닝과 경쟁 가능한 정확도를 달성했으며, 극단적인 희박성(예: 98.4% 프루닝)에서도 성능이 유지됨.
• 초기화 시 프루닝을 통해 수행한 신경망 아키텍처 설ulpt링은 더 넓은 네트워크에서 시작할 경우, 원래의 밀도 기반 ResNet20보다 성능이 뛰어난 희박한 아키텍처를 발견함.