[논문 리뷰] SiPPing Neural Networks: Sensitivity-informed Provable Pruning of Neural Networks

Cenk Baykal, Lucas Liebenwein외 3명|arXiv (Cornell University)|2019. 10. 11.

Advanced Neural Network Applications참고 문헌 49인용 수 15

한 줄 요약

이 논문은 예측 성능을 유지하면서 신경망을 희소화하는 데 있어 증명 가능한 정확도를 보장하는 데이터 기반의 프루닝 프레임워크인 SiPP를 소개한다. 민감도 기반 중요도 샘플링을 활용하여 소규모 데이터 배치를 통해 매개변수 프루닝을 유도함으로써, 이 프레임워크는 강력한 이론적 보장을 확보하고 있으며, 다양한 아키텍처와 프루닝 파ip라인(반복적 및 일회성 설정 포함)에서 기존의 기준선을 일관되게 뛰어넘는다.

ABSTRACT

We introduce a pruning algorithm that provably sparsifies the parameters of a trained model in a way that approximately preserves the model's predictive accuracy. Our algorithm uses a small batch of input points to construct a data-informed importance sampling distribution over the network's parameters, and adaptively mixes a sampling-based and deterministic pruning procedure to discard redundant weights. Our pruning method is simultaneously computationally efficient, provably accurate, and broadly applicable to various network architectures and data distributions. Our empirical comparisons show that our algorithm reliably generates highly compressed networks that incur minimal loss in performance relative to that of the original network. We present experimental results that demonstrate our algorithm's potential to unearth essential network connections that can be trained successfully in isolation, which may be of independent interest.

연구 동기 및 목표

• 기존의 데이터 기반 프루닝 방법은 일반적으로 모델 정확도에 대한 공식적인 경계 없이 히우리스틱에 의존하므로, 이러한 방법들에 이론적 보장을 제공하지 못하는 문제를 해결한다.
• 계산적으로 효율적이며 다양한 네트워크 아키텍처(FNNs, CNNs, RNNs)에 널리 적용 가능하고, 네트워크의 훈련 상태와 관계없이 증명 가능한 정확도를 보장하는 프루닝 프레임워크를 개발한다.
• 딥 뉴럴 네트워크에 대한 새로운 압축 한계를 수립하여 일반화 이론에 정보를 제공하고 프루닝의 메커니즘에 대한 이론적 통찰을 제공한다.
• 일관된 성능을 보장함으로써 표준 프루닝-재훈련 파이프라인에 신뢰성 있게 통합될 수 있도록, 다양한 재훈련 스케줄링 및 초기화 전략에서도 안정적인 성능을 확보한다.
• 기존 방법이 실패하기 쉬운 저데이터 또는 일회성 프루닝 환경에서도 높은 정확도를 유지할 수 있는 즉시 사용 가능한 솔루션을 제공한다.

제안 방법

• 출력에 대한 각 가중치의 기여도를 정량화하기 위해 소규모 입력 데이터 배치를 활용해 네트워크 매개변수에 대한 데이터 기반 중요도 샘플링 분포를 구성한다.
• 각 매개변수(에지)의 중요도를 순위 매기기 위해 민감도 기반 메트릭을 적용하여, 각 가중치가 최종 출력에 미치는 영향을 집중적으로 분석한다.
• 샘플링 기반과 결정론적 프루닝을 융합한 하이브리드 프루닝 전략을 적용: 높은 중요도의 가중치 집합을 샘플링하고, 낮은 중요도의 가중치는 결정론적으로 제거한다.
• 근사 오차를 최소화하면서 계산 효율성과 증명 가능한 오차 경계를 유지하기 위해 뉴런 간 샘플 크기 할당을 최적화한다.
• 지역 민감도에 기반해 프루닝 강도를 동적으로 조정하는 적응형 희소화 절차를 통합하여, 다양한 네트워크 상태에서의 강건성을 확보한다.
• 사용자가 정의한 오차 한계 내에서 원본 모델과 유사한 출력을 유지할 수 있도록, 압축된 네트워크의 출력에 대해 증명 가능한 압축 경계를 유도한다.

실험 결과

연구 질문

• RQ1 프루닝 후 모델 정확도에 대해 증명 가능한 보장을 제공하면서도, 히우리스틱 가정에 의존하지 않는 프루닝 알고리즘을 설계할 수 있는가?
• RQ2 소규모 데이터 배치를 효과적으로 활용하여, 매개변수의 진정된 민감도를 반영하는 중요도 샘플링 분포를 어떻게 구성할 수 있는가?
• RQ3 하이브리드 샘플링-결정론적 프루닝 전략은 순수 히우리스틱 또는 순수 샘플링 기반 접근 방식에 비해 정확도 및 효율성 측면에서 어느 정도 뛰어나게 작용하는가?
• RQ4 SiPP의 이론적 프레임워크는 다양한 아키텍처(FNNs, CNNs, RNNs)와 프루닝 파이프라인(반복적 대비 일회성)에 일반화되는가?
• RQ5 SiPP의 증명 가능한 성격이 랜덤 초기화 및 최소한의 재훈련을 포함한 다양한 훈련 및 재훈련 환경에서 일관된 성능을 설명할 수 있는가?

주요 결과

• SiPP는 CIFAR-10 및 ImageNet을 포함한 다양한 아키텍처와 데이터셋에서 Weight Transfer(WT) 및 SNIP과 같은 최첨단 방법과 유사한 성능을 달성한다.
• CIFAR-10에서 SiPP는 고밀도 프루닝 비율(예: 90% 희소성)에서도 원본 모델과 거의 동일한 정확도(0.5% 이내의 정확도 손실)를 유지하며, 일회성 설정에서 WT를 능가한다.
• ImageNet의 ResNet18 및 ResNet101에서 SiPP는 90% 프루닝 비율에서도 원본 모델의 top-1 테스트 정확도와 1.5% 이내로 유지되며, 대규모 모델에 대한 확장성도 입증한다.
• 반복적 프루닝+재훈련 및 랜덤 초기화+프루닝+훈련 파이프라인 양쪽 모두에서 일관된 성능을 보이며, 훈련 동역학에 대한 강건성을 입증한다.
• 이론적 분석 결과, SiPP는 훈련 분포 외부의 입력에 대해서도 압축된 네트워크의 출력에 대해 증명 가능한 오차 경계를 제공함을 보여준다.
• 알고리즘은 오직 두 개의 하이퍼파rameter(δ 및 α)만 필요하며, 추가 튜닝이 필요 없어 실무에서 간편하고 신뢰성 있게 구현할 수 있다.