[논문 리뷰] Weight Pruning via Adaptive Sparsity Loss

George Retsinas, Athena Elafrou외 2명|arXiv (Cornell University)|2020. 06. 04.

Advanced Neural Network Applications참고 문헌 66인용 수 6

한 줄 요약

이 논문은 훈련 중에 예산 인지적이고 반복적인 프루닝을 가능하게 하는 적응형 스파arsity 손실을 사용하는 경량이며 엔드 투 엔드의 가중치 프루닝 프레임워크를 제안한다. 각 레이어의 스파arsity를 미분 가능한 오차 함수로 공식화하고, 훈련 가능한 임계값을 통해 손실에 통합함으로써, 각 레이어에 최적의 프루닝 수준을 자동으로 결정할 수 있으며, ResNet, Wide ResNet, AlexNet 아키텍처에서 CIFAR-100 및 ImageNet에서 높은 압축률을 달성하면서 정확도 손실을 최소화한다.

ABSTRACT

Pruning neural networks has regained interest in recent years as a means to compress state-of-the-art deep neural networks and enable their deployment on resource-constrained devices. In this paper, we propose a robust compressive learning framework that efficiently prunes network parameters during training with minimal computational overhead. We incorporate fast mechanisms to prune individual layers and build upon these to automatically prune the entire network under a user-defined budget constraint. Key to our end-to-end network pruning approach is the formulation of an intuitive and easy-to-implement adaptive sparsity loss that is used to explicitly control sparsity during training, enabling efficient budget-aware optimization. Extensive experiments demonstrate the effectiveness of the proposed framework for image classification on the CIFAR and ImageNet datasets using different architectures, including AlexNet, ResNets and Wide ResNets.

연구 동기 및 목표

• 자원 제약이 있는 장치에 딥 네ural 네트워크를 구현하기 위한 압축 문제를 해결하기 위해.
• 다수의 미세조정 사이클이나 복잡한 하이퍼파ram터 튜닝이 필요한 기존 프루닝 방법의 한계를 극복하기 위해.
• 스패arsity 제어를 훈련 과정에 직접 통합하는 저비용의 엔드 투 엔드 프루닝 프레임워크를 개발하기 위해.
• 사용자가 정의한 전반적인 예산 제약 조건 하에 자동으로 레이어별 스파arsity 할당을 가능하게 하기 위해.

제안 방법

• 가우시안 가중치 분포 가정 하에 오차 함수(erf)를 사용한 미분 가능한 스파arsity 공식화를 도입하여, 프루닝 임계값의 기울기 기반 최적화를 가능하게 한다.
• 백프로파게이션을 통해 프루닝된 가중치를 허용하기 위해 직선 추정기(STE)를 사용하여, 이전에 프루닝된 연결을 동적으로 재활성화할 수 있도록 한다.
• 각 레이어별로 훈련 가능한 파라미터로 구성된 적응형 스파arsity 손실을 공식화하여, 네트워크가 전반적인 예산을 충족시키기 위해 스파arsity 수준을 자동으로 조정할 수 있도록 한다.
• 두 가지 빠른 크기 기반 프루닝 함수를 사용: 하나는 이진 탐색을 통해, 다른 하나는 신뢰구간 분석을 통해 각 레이어의 목표 스파arsity를 유지한다.
• 정확도와 스파arsity를 동시에 최적화할 수 있도록, 작업 손실과 적응형 스파arsity 손실을 함께 훈련 과정에 통합한다.
• 고정 및 예산 인지 프루닝 전략을 모두 지원하며, 후자는 레이어 간의 부여 여유에 따라 스파arsity를 동적으로 할당한다.

실험 결과

연구 질문

• RQ1 다수의 미세조정 사이클이 필요 없이, 훈련 중에 엔드 투 엔드로 예산 인지적인 프루닝을 가능하게 하는, 미분 가능한 적응형 스파arsity 손실을 설계할 수 있는가?
• RQ2 제안된 방법은 표준 이미지 분류 벤치마크에서 높은 압축률을 달성하면서도 모델 정확도를 얼마나 효과적으로 유지하는가?
• RQ3 전반적인 파라미터 수나 FLOP 예산 제약 조건 하에 자동으로 최적의 레이어별 스파arsity 수준을 결정할 수 있는가?
• RQ4 정확도-압축률 트레이드오프 측면에서, 적응형 스파arsity 손실은 고정 스파arsity 또는 제약 없는 프루닝 기준선보다 어떻게 성능을 발휘하는가?

주요 결과

• WRN-16-8를 사용한 CIFAR-100에서, 이 방법은 밀도 모델 대비 정확도 손실이 1.2%에 불과한 85%의 전반적 스파arsity를 달성하여 효과적인 수렴과 안정성을 입증하였다.
• AlexNet을 사용한 ImageNet에서, 제약 없는 변형은 265만 개의 파라미터(95.7% 압축률)를 달성했으며, 상위 1 정확도는 56.62%였고, BA-FDNP와 같은 최첨단 비정형 프루닝 방법과 동등하거나 이를 초월하였다.
• ImageNet에서 ResNet50에 대해, 적응형 예산 제약 변형은 70% 스파arsity(약 750만 개의 파라미터)에서 밀도 ResNet18 기준선보다 더 높은 정확도를 달성하여 강력한 압축 효율성을 보였다.
• 적응형 스파arsity 손실은 자동으로 레이어별 스파arsity 할당을 가능하게 하여, 더 많은 부여 여유가 있는 레이어에 더 높은 스파arsity를 적용함으로써 전체 압축 효율성을 향상시켰다.
• Ding 등 [70]과 같은 최첨단 접근법과 비교해 유사하거나 더 우수한 정확도-압축률 트레이드오프를 달성했으며, 극도로 높은 스파arsity 수준에서는 성능이 유사하였다.