[논문 리뷰] Pruning via Iterative Ranking of Sensitivity Statistics

Stijn Verdenius, Maarten Stol외 1명|arXiv (Cornell University)|2020. 06. 01.

Adversarial Robustness in Machine Learning참고 문헌 72인용 수 13

한 줄 요약

이 논문은 훈련 이전에 반복적으로 SNIP의 민감도 기준을 적용하는 새로운 프루닝 방법인 SNIP-it를 소개한다. 이는 복잡한 훈련 스케줄이 필요 없이 고스팸리티 영역에서 성능과 강건성을 크게 향상시킨다. 또한 SNAP-it를 통해 구조적 프루닝으로 확장하여, 비구조적 및 구조적 프루닝 모두에서 최신 기술 수준의 스파arsity-정확도 트레이드오프를 달성한다. 이는 훈련 중에도 성능을 유지한다.

ABSTRACT

With the introduction of SNIP [arXiv:1810.02340v2], it has been demonstrated that modern neural networks can effectively be pruned before training. Yet, its sensitivity criterion has since been criticized for not propagating training signal properly or even disconnecting layers. As a remedy, GraSP [arXiv:2002.07376v1] was introduced, compromising on simplicity. However, in this work we show that by applying the sensitivity criterion iteratively in smaller steps - still before training - we can improve its performance without difficult implementation. As such, we introduce 'SNIP-it'. We then demonstrate how it can be applied for both structured and unstructured pruning, before and/or during training, therewith achieving state-of-the-art sparsity-performance trade-offs. That is, while already providing the computational benefits of pruning in the training process from the start. Furthermore, we evaluate our methods on robustness to overfitting, disconnection and adversarial attacks as well.

연구 동기 및 목표

• SNIP의 민감도 기준이 고스팸리티 영역에서 기울기 전파 및 레이어 단절 문제로 인해 성능이 떨어지는 점을 해결하기 위해.
• 사전 훈련이나 복잡한 훈련 스케줄 없이 러키 티켓 스타일 프루닝의 성능과 강건성을 향상시키기 위해.
• 민감도 기반 프루닝 접근법을 구조적 프루닝으로 확장하여, 초기화 단계부터 효율적인 스파스 훈련을 가능하게 하기 위해.
• 과적합, 단절, 적대적 공격 등 다양한 강건성 차원에서 방법을 평가하기 위해.

제안 방법

• SNIP-it는 훈련 이전에 작은 프루닝 단계로 반복적으로 SNIP 민감도 기준을 적용하여, 민감도가 낮은 가중치를 점진적으로 제거한다.
• 민감도 기준은 단일 배치에서의 가중치 기울기와 활성화의 곱을 계산하여 파라미터 중요도를 순위 매긴다.
• 각 반복 단계에서 민감도가 가장 낮은 소수의 가중치가 제거되며, 이는 기울기 전파를 유지하고 단절 위험을 줄인다.
• 동일한 반복적 순위 매기기를 개별 가중치 또는 전체 필터/채널에 적용하여 비구조적 및 구조적 프루닝을 모두 지원한다.
• SNAP-it는 필터나 채널의 민감도를 기반으로 순위를 매김으로써 SNIP-it를 구조적 프루닝으로 확장하여, 초기화 단계부터 구조적 스파arsity를 가능하게 한다.
• 사전 훈련, 미세조정, 복잡한 하이퍼파ram터 튜닝이 필요 없으며, 단순성은 유지하면서 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 SNIP 민감도 기준의 반복적 적용은 고스팸리티 영역에서 프루닝 성능과 강건성을 향상시킬 수 있는가?
• RQ2 반복적 프루닝은 단일 단계 SNIP에서 발생하는 기울기 전파 및 레이어 단절 문제를 완화하는가?
• RQ3 동일한 민감도 기반 순위 매기기가 비구조적 및 구조적 스파arsity 모두에 효과적으로 확장될 수 있는가?
• RQ4 SNIP-it는 GraSP 및 기타 최신 기술 수준의 프루닝 방법과 비교해 정확도와 스파arsity 측면에서 어떻게 성능을 내는가?
• RQ5 SNIP-it는 과적합, 단절, 적대적 공격에 대한 모델 강건성에 어떤 영향을 미치는가?

주요 결과

• SNIP-it는 다양한 데이터셋과 아키텍처에서 최신 기술 수준의 스파arsity-정확도 트레이드오프를 달성하며, 고스팸리티 영역에서 SNIP 및 GraSP를 모두 능가한다.
• 민감도 기준의 반복적 적용은 단일 단계 SNIP 대비 과적합과 적대적 공격에 대한 강건성을 크게 향상시킨다.
• SNAP-it를 통해 초기화 단계부터 구조적 프루닝을 수행할 수 있으며, 경쟁적인 성능을 보이며 사전 훈련이나 복잡한 훈련 스케줄이 필요 없어진다.
• 95%의 스파arsity에서도 높은 정확도를 유지하여 강력한 일반화 능력과 안정성을 입증한다.
• SNIP-it에서는 기울기 전파가 향상되고 레이어 단절이 감소하여, 단일 단계 제거보다 단계적 프루닝의 이점이 입증된다.
• 훈련 시작 단계부터 프루닝의 계산적 이점을 확보하여, 후처리 프루닝 단계 없이 효율적인 추론을 가능하게 한다.