[논문 리뷰] Connectivity Matters: Neural Network Pruning Through the Lens of Effective Sparsity

Artem Vysogorets, Julia Kempe|arXiv (Cornell University)|2021. 07. 05.

Model Reduction and Neural Networks인용 수 9

한 줄 요약

이 논문은 직접 스파arsity 외에도 입력/출력 흐름으로부터 단절된 연결들로 인해 비활성화된 연결까지 고려함으로써 신경망 프루닝의 보다 정확한 측정치인 효과적 스파arsity를 도입한다. 여러 프루닝 알고리즘은 직접 스파arsity 기준에서는 효과적으로 보이지만, 효과적 스파arsity 기준에서는 특히 고압축 영역에서 그 우월성이 상실되며, 이에 대응하기 위해 저비용의 방법을 제안한다. 이는 적절한 계층별 할당을 갖춘 랜덤 프루닝이 더 복잡한 방법보다도 뛰어난 성능을 낼 수 있음을 재확인시킨다.

ABSTRACT

Neural network pruning is a fruitful area of research with surging interest in high sparsity regimes. Benchmarking in this domain heavily relies on faithful representation of the sparsity of subnetworks, which has been traditionally computed as the fraction of removed connections (direct sparsity). This definition, however, fails to recognize unpruned parameters that detached from input or output layers of underlying subnetworks, potentially underestimating actual effective sparsity: the fraction of inactivated connections. While this effect might be negligible for moderately pruned networks (up to 10-100 compression rates), we find that it plays an increasing role for thinner subnetworks, greatly distorting comparison between different pruning algorithms. For example, we show that effective compression of a randomly pruned LeNet-300-100 can be orders of magnitude larger than its direct counterpart, while no discrepancy is ever observed when using SynFlow for pruning [Tanaka et al., 2020]. In this work, we adopt the lens of effective sparsity to reevaluate several recent pruning algorithms on common benchmark architectures (e.g., LeNet-300-100, VGG-19, ResNet-18) and discover that their absolute and relative performance changes dramatically in this new and more appropriate framework. To aim for effective, rather than direct, sparsity, we develop a low-cost extension to most pruning algorithms. Further, equipped with effective sparsity as a reference frame, we partially reconfirm that random pruning with appropriate sparsity allocation across layers performs as well or better than more sophisticated algorithms for pruning at initialization [Su et al., 2020]. In response to this observation, using a simple analogy of pressure distribution in coupled cylinders from physics, we design novel layerwise sparsity quotas that outperform all existing baselines in the context of random pruning.

연구 동기 및 목표

• 직접 스파arsity를 사용하는 표준 프루닝 평가 방식의 결함을 해결하기 위해, 구조적 단절로 인해 비활성화된 연결을 간과하는 문제를 해결한다.
• 고압축 영역에서 직접 스파arsity가 실제 스파arsity를 크게 과소평가하여 프루닝 알고리즘 간 비교를 왜곡함을 입증한다.
• 기존 프루닝 알고리즘에 효과적 스파arsity를 목표로 할 수 있도록 최소한의 계산 비용으로 확장하는 방법을 제안한다.
• 최근의 프루닝 알고리즘을 효과적 스파arsity의 관점에서 재평가하여, 이 새로운 프레임워크 하에서 성능 순위가 크게 변화함을 드러낸다.
• 적절한 계층별 스파arsity 할당을 갖춘 랜덤 프루닝이 효과적 스파arsity 영역에서 더 복잡한 알고리즘을 능가할 수 있음을 보여준다.

제안 방법

• 효과적 스파arsity를 비활성화된 연결의 비율로 정의한다. 이는 직접 제거된 연결이든, 구조적 단절로 인해 출력에 영향을 주지 않는 연결이든 간에 해당한다.
• 대부분의 프루닝 방법에 적용 가능한 단순하고 저비용인 알고리즘 확장 기법을 제안하여, 프루닝된 연결이 네트워크의 계산 흐름에 영향을 주지 않도록 보장한다.
• 프루닝 후 비활성화된 간선을 식별하고 세는 데 계산 그래프 분석을 활용하며, 직접 제거된 간선과 구분한다.
• 결합된 실린더 내 압력 분포의 열역학적 유사성을 활용해, 랜덤 프루닝에서 성능을 향상시키는 새로운 계층별 스파arsity 할당량을 설계한다.
• 표준 벤치마크에서 직접 스파arsity와 효과적 스파arsity 측정 기준을 모두 사용하여 여러 프루닝 알고리즘(SynFlow, SNIP, GraSP, 랜덤 프루닝 등)을 구현하고 평가한다.
• 아키텍처(LeNet, VGG, ResNet)와 데이터셋(MNIST, CIFAR, TinyImageNet, ImageNet)에 걸쳐 일관된 실험 설정을 유지하여 공정한 비교를 확보한다.

실험 결과

연구 질문

• RQ1 고압축 영역에서 직접 스파arsity와 효과적 스파arsity 간의 괴리가 신경망 프루닝 알고리즘 평가에 어떤 영향을 미치는가?
• RQ2 직접 스파arsity 기준에서 잘 작동하는 프루닝 알고리즘이 효과적 스파arsity 기준에서 동일한 우월성을 유지하는가?
• RQ3 효과적 스파arsity를 평가 기준으로 사용할 경우, 최적화된 계층별 스파arsity 할당을 갖춘 랜덤 프루닝이 더 복잡한 프루닝 알고리즘을 능가할 수 있는가?
• RQ4 구조적 단절(즉, 비활성화된 뉴런)은 프루닝된 하위망의 실제 압축 효율성에 어떤 영향을 미치는가?
• RQ5 기존 프루닝 알고리즘은 어떻게 수정되어 직접 스파arsity가 아닌 효과적 스파arsity를 목표로 할 수 있으며, 계산 오버헤드를 최소화할 수 있는가?

주요 결과

• 특히 극단적인 압축 수준에서 효과적 스파arsity는 직접 스파arsity보다 수 개의 주기수 높을 수 있으며, 이는 표준 평가 방식의 중대한 결함을 드러낸다.
• 직접 스파arsity 기준에서 가장 우수한 성능을 보였던 SynFlow는 효과적 스파arsity 기준에서 그 우월성을 상실하며, 이는 이전 평가에서 성능이 과대평가되었음을 시사한다.
• LeNet-300-100에서 효과적 압축은 직접 압축 대비 최대 10배 높을 수 있었으며, SynFlow는 이와 같은 괴리가 없었다.
• 직접 스파arsity와 효과적 스파arsity 간 괴리는 알고리즘에 따라 크게 달라지며, 랜덤 프루닝에서 가장 큰 괴리를 보이며 이는 성능 비교를 왜곡한다.
• 열역학적 유사성에서 유도된 계층별 스파arsity 할당량은 효과적 스파arsity 기준 하에서 랜덤 프루닝의 모든 기존 베이스라인보다 뛰어난 성능을 보였다.
• 고압축 영역에서 효과적 스파arsity는 랜덤 프루닝이 적절한 계층별 할당을 갖출 경우 더 복잡한 데이터 기반 방법보다 동일하거나 더 우수한 성능을 낼 수 있음을 드러내며, 이는 이전의 알고리즘 우월성에 대한 가정을 도전한다.