[논문 리뷰] Neural Pruning via Growing Regularization

Huan Wang, Can Qin외 2명|arXiv (Cornell University)|2020. 12. 16.

Domain Adaptation and Few-Shot Learning참고 문헌 63인용 수 4

한 줄 요약

이 논문은 신경망 프루닝의 성능을 햖未하는 프루닝 스케줄과 가중치 중요도 평가 방법을 동시에 해결하기 위해 점차적으로 증가하는 L2 정규화 강도를 도입한 성장 정규화 접근법을 제안한다. 명시적인 헤시안 계산 없이도 헤시안 유도 크기 분리 기법을 활용함으로써, CIFAR-10/100 및 ImageNet에서 구조적 및 비구조적 프루닝 모두에서 최신 기술 수준(SOTA)의 정확도를 달성한다.

ABSTRACT

Regularization has long been utilized to learn sparsity in deep neural network pruning. However, its role is mainly explored in the small penalty strength regime. In this work, we extend its application to a new scenario where the regularization grows large gradually to tackle two central problems of pruning: pruning schedule and weight importance scoring. (1) The former topic is newly brought up in this work, which we find critical to the pruning performance while receives little research attention. Specifically, we propose an L2 regularization variant with rising penalty factors and show it can bring significant accuracy gains compared with its one-shot counterpart, even when the same weights are removed. (2) The growing penalty scheme also brings us an approach to exploit the Hessian information for more accurate pruning without knowing their specific values, thus not bothered by the common Hessian approximation problems. Empirically, the proposed algorithms are easy to implement and scalable to large datasets and networks in both structured and unstructured pruning. Their effectiveness is demonstrated with modern deep neural networks on the CIFAR and ImageNet datasets, achieving competitive results compared to many state-of-the-art algorithms. Our code and trained models are publicly available at https://github.com/mingsuntse/regularization-pruning.

연구 동기 및 목표

• 성능에 상당한 영향을 미치지만 거의 연구되지 않은 신경망 프루닝의 프루닝 스케줄 문제를 해결한다.
• 명시적인 헤시안 계산이나 근사치가 필요 없이 헤시안 정보를 활용해 정확한 가중치 중요도 평가를 수행하는 방법을 개발한다.
• 확장 가능하고 간단하게 구현 가능한 정규화 체계를 통해 효과적인 비구조적 및 구조적 프루닝을 가능하게 하며, 프루닝 중 모델 표현력을 향상시킨다.
• 성장 정규화와 결합된 크기 기반 프루닝이 헤시안 기반 프루닝 성능에 도달할 수 있음을 보여주어 두 주요 프루닝 패러다임을 연결한다.

제안 방법

• 고정된 작은 값으로 설정되는 것이 아니라, 훈련 과정에서 점차 증가하는 L2 정규화 계수를 사용하는 성장 정규화 체계를 제안한다.
• 증가하는 정규화를 통해 중요도가 낮은 가중치를 0에 가깝게 이동시켜 단순한 크기 기반 기준으로 정확한 프루닝을 가능하게 한다.
• 가중치의 국소 2차 구조(헤시안)를 암묵적으로 활용: 곡률이 높은 가중치일수록 더 강하게 정규화되어 크기 분리가 향상된다.
• 두 가지 변형을 설계: GReg-1은 구조적 프루닝(필터 수준)을 위한 것이고, GReg-2는 비구조적 프루닝을 위한 것이다. 둘 다 증가하는 L2 정규화를 사용한다.
• 공정한 비교를 위해 소규모(CIFAR) 및 대규모(ImageNet) 데이터셋에 모두 적용하고, 표준 훈련 프rotocol를 사용한다.
• 헤시안 근사치를 피하기 위해 성장 정규화의 자연스러운 동역학을 활용해 가중치 간 곡률 차이를 반영한다.

실험 결과

연구 질문

• RQ1 고정된 정규화로 한 번에 수행하는 프루닝과 비교해 성장 정규화 스케줄이 프루닝 성능을 크게 향상시킬 수 있는가?
• RQ2 명시적인 헤시안 계산이나 근사치 없이도 성장 정규화가 헤시안 정보를 암묵적으로 활용해 가중치 중요도 평가에 기여할 수 있는가?
• RQ3 제안된 방법이 대규모 벤치마크에서 최신 기술 수준의 구조적 및 비구조적 프루닝 방법과 비교해 경쟁력 있거나 우수한 정확도를 달성할 수 있는가?
• RQ4 프루닝 스케줄이 최종 모델 성능을 결정하는 데 가중치 중요도 기준만큼 중요한가?
• RQ5 성장 정규화 프레임워크를 통해 크기 기반 프루닝이 헤시안 기반 프루닝 성능에 도달할 수 있는가?

주요 결과

• ImageNet에서 ResNet50을 약 2.5배 빠르게 실행할 경우, GReg-2는 74.93%의 top-1 정확도를 달성하여 Taylor-FO(71.69%)를 3.24%p 뛰어넘었고, 최고 성능을 기록한 방법들과 동등한 성능을 보였다.
• ImageNet에서 약 3배 빠르게 실행할 경우, GReg-2는 73.90%의 top-1 정확도를 기록하여 Taylor-FO를 2.23%p 뛰어넘었으며, 더 높은 희박도에서 뛰어난 성능을 입증했다.
• CIFAR-100에서 2.5배 빠르게 실행할 경우, GReg-2는 74.85%의 top-1 정확도를 기록하여 베이스라인 대비 1.28%p 향상되었고, 최신 기술 수준의 방법들과 동등하거나 슈퍼어리어를 기록했다.
• ImageNet에서 비구조적 프루닝을 수행한 결과, GReg-2는 82.7%의 희박도에서 75.45%의 top-1 정확도를 기록하여, 헤시안 근사치를 사용하지 않았음에도 불구하고 WoodFisher(75.20%)를 정확도에서 뛰어넘었고, 손실 감소율에서는 동일한 성능을 보였다.
• 더 단순한 변형인 GReg-1은 82.7%의 희박도에서 75.45%의 top-1 정확도를 기록하여, 향상된 프루닝 스케줄만으로도 강력한 성능을 낼 수 있음을 보여주었다.
• 이 방법은 구조적 및 비구조적 프루닝 모두에 대해 확장 가능하고 효과적이며, 복잡한 헤시안 추정이나 반복적 재훈련이 필요하지 않다.