[논문 리뷰] Pruning Deep Neural Networks from a Sparsity Perspective

Enmao Diao, Ganghua Wang외 4명|arXiv (Cornell University)|2023. 02. 11.

Neural Networks and Applications인용 수 7

한 줄 요약

이 논문은 신경망 압축 가능성을 정량적으로 측정할 수 있는 여섯 가지 이상의 이상적 희소성 성질을 만족하는 새로운 희소성 측정 지표인 PQ 인덱스(PQI)를 도입한다. PQI를 기반으로 저자들은 반복적 희소화 동안 희소화 비율을 동적으로 조정하는 스파arsity-인formed 어댑티브 프루닝(SAP) 알고리즘을 개발한다. 실험 결과, 특히 극단적인 희소화에서도 성능 유지 측면에서 최신 기법들인 룩업 티켓 프루닝과 비교해 뛰어난 압축 효율성과 강건성을 확보한다.

ABSTRACT

In recent years, deep network pruning has attracted significant attention in order to enable the rapid deployment of AI into small devices with computation and memory constraints. Pruning is often achieved by dropping redundant weights, neurons, or layers of a deep network while attempting to retain a comparable test performance. Many deep pruning algorithms have been proposed with impressive empirical success. However, existing approaches lack a quantifiable measure to estimate the compressibility of a sub-network during each pruning iteration and thus may under-prune or over-prune the model. In this work, we propose PQ Index (PQI) to measure the potential compressibility of deep neural networks and use this to develop a Sparsity-informed Adaptive Pruning (SAP) algorithm. Our extensive experiments corroborate the hypothesis that for a generic pruning procedure, PQI decreases first when a large model is being effectively regularized and then increases when its compressibility reaches a limit that appears to correspond to the beginning of underfitting. Subsequently, PQI decreases again when the model collapse and significant deterioration in the performance of the model start to occur. Additionally, our experiments demonstrate that the proposed adaptive pruning algorithm with proper choice of hyper-parameters is superior to the iterative pruning algorithms such as the lottery ticket-based pruning methods, in terms of both compression efficiency and robustness.

연구 동기 및 목표

• 프루닝 반복 과정에서 하위망의 압축 가능성을 정량적으로 평가할 수 있는 측정 지표의 부재 문제를 해결하기 위해.
• 모든 여섯 가지 이상적 희소성 성질을 만족하는 희소성 측정 지표를 개발하여 신뢰할 수 있는 압축 가능성 추정을 가능하게 하기 위해.
• 압축 가능성을 기반으로 희소화 비율을 자동 조정하는 새로운 프루닝 알고리즘을 제안하여 효율성과 강건성을 향상시키기 위해.
• PQI의 동역학이 프루닝 과정에서 모델 성능 추세를 반영한다는 가설을 경험적으로 검증하기 위해.
• PQI 기반의 어댑티브 프루닝이 고정 비율 프루닝 방법보다 압축 및 정확도 측면에서 뛰어나다는 것을 입증하기 위해.

제안 방법

• 모든 여섯 가지 이상적 희소성 성질(로빈 후드, 스케일링, 레이즈 테이드, 클로닝, 빌 게이츠, 베이비즈)을 만족하는 새로운 벡터 희소성 측정 지표인 PQ 인덱스(PQI)를 제안한다.
• 각 프루닝 반복 단계에서 프루닝된 하위망의 압축 가능성을 PQI를 활용해 추정하고, 이를 기반으로 어댑티브 프루닝 결정을 이끌어낸다.
• PQI 동역학을 기반으로 희소화 비율을 조정하여 과도하거나 부족한 프루닝을 방지하는 스파arsity-인formed 어댑티브 프루닝(SAP) 알고리즘을 개발한다.
• 현재 PQI 값과 반복 과정에서의 변화량을 기반으로 동적 프루닝 전략을 적용하여 희소화 비율을 결정한다.
• 다양한 프루닝 범위(Global, 뉴런 수준, 레이어 수준)에 대해 SAP를 적용하고, CNN 기반의 CIFAR-10 데이터셋에서 성능을 평가한다.
• SAP의 어댑티브 행동을 최적화하고 강건성을 검증하기 위해 하이퍼파ram터 p, q, ηr, 및 γ에 대한 분석 연구를 수행한다.

실험 결과

연구 질문

• RQ1 모든 여섯 가지 이상적 성질을 만족하는 희소성 측정 지표가 프루닝된 신경망의 압축 가능성을 신뢰성 있게 추정할 수 있는가?
• RQ2 PQI의 동역학이 반복적 프루닝 과정에서 모델 성능의 의미 있는 변화를 반영하는가?
• RQ3 PQI 기반의 어댑티브 프루닝 알고리즘이 고정 비율 프루닝 방법보다 더 뛰어난 압축 효율성과 강건성을 달성할 수 있는가?
• RQ4 다양한 프루닝 범위(Global, 뉴런 수준, 레이어 수준)가 SAP 알고리즘의 성능 및 안정성에 어떤 영향을 미치는가?
• RQ5 다양한 데이터셋과 아키텍처에서 SAP 알고리즘의 최적 하이퍼파ram터(p, q, ηr, γ) 조합은 무엇인가?

주요 결과

• PQ 인덱스(PQI)는 여섯 가지 이상적 성질을 모두 만족하는 최초의 희소성 측정 지표로, 벡터 희소성의 이론적으로 타당한 지표로 기능한다.
• PQI의 동역학은 가설된 패턴을 따르며, 효과적인 정규화 단계에서는 감소하고, 과적합의 시작 단계에서는 증가하며, 모델 붕괴 단계에서는 再감소하는 경향을 보인다.
• 뉴런 수준 프루닝 기반의 SAP는 압축 효율성과 강건성 측면에서 '원샷' 및 '럭키 티켓' 방법보다 뛰어나며, 특히 남은 가중치 비율이 낮을 경우 두드러진 성능을 보인다.
• 반복적 프루닝 과정에서 프루닝된 모델의 희소성은 감소하며, PQI의 차이가 프루닝이 예상된 대로 진행되고 있음을 확인하는 사전 검증 역할을 한다.
• 분석 연구 결과, 하이퍼파ram터 p와 q는 프루닝의 공격성을 조절하며, p ≈ q 이면서 q가 p에서 멀리 떨어져 있을 때 최적의 성능을 달성한다.
• SAP의 성능은 로지스틱 감쇠 패턴을 따르며, 곡선의 변곡점이 PQI 측정치의 정점과 일치함으로써 압축 가능성 동역학에 대한 가설이 검증된다.