[논문 리뷰] Provable Filter Pruning for Efficient Neural Networks

Lucas Liebenwein, Cenk Baykal외 3명|arXiv (Cornell University)|2019. 11. 18.

Advanced Neural Network Applications참고 문헌 51인용 수 23

한 줄 요약

이 논문은 데이터 기반 중요도 샘플링을 사용하여 부작용이 없는 필터를 식별하고 제거하는 증명 가능하게 효율적인 필터 프루닝 방법을 제안한다. 작은 데이터 배치를 통해 필터 민감도를 계산하고 민감도 비례 확률로 프루닝함으로써, 모델 정확도와 희소성에 대한 이론적 보장을 확보한다. CIFAR-10에서 다양한 아키텍처에 대해 정확도, 파라미터 감소, FLOP 효율성 측면에서 최신 기법들을 일관되게 능가한다.

ABSTRACT

We present a provable, sampling-based approach for generating compact Convolutional Neural Networks (CNNs) by identifying and removing redundant filters from an over-parameterized network. Our algorithm uses a small batch of input data points to assign a saliency score to each filter and constructs an importance sampling distribution where filters that highly affect the output are sampled with correspondingly high probability. In contrast to existing filter pruning approaches, our method is simultaneously data-informed, exhibits provable guarantees on the size and performance of the pruned network, and is widely applicable to varying network architectures and data sets. Our analytical bounds bridge the notions of compressibility and importance of network structures, which gives rise to a fully-automated procedure for identifying and preserving filters in layers that are essential to the network's performance. Our experimental evaluations on popular architectures and data sets show that our algorithm consistently generates sparser and more efficient models than those constructed by existing filter pruning approaches.

연구 동기 및 목표

• 자원 제한된 장치에 대규모 과도하게 파rameter화된 CNN을 구현하는 데 도전하는 문제를 해결하기 위해 효율적이고 컴팩트한 모델 압축을 가능하게 한다.
• 편향 기반 필터 프루닝 방법의 한계를 극복하기 위해 이론적 보장이 없고 수작업 하이퍼파라미터 조정이 필요한 문제를 해결한다.
• 네트워크 성능을 유지하면서 최대한의 희소성 달성을 위한 완전 자동화된 데이터 기반 프루닝 절차를 개발한다.
• 필터 압축 가능성과 중요도 사이의 이론적 유계를 설정하여 증명 가능 성능 보장을 가능하게 한다.
• 표준 딥러닝 라이브러리를 사용해도 높은 모델 효율성을 달성할 수 있도록 구조적 필터 프루닝 하위망을 생성한다.

제안 방법

• 이 방법은 '필터 민감도'를 통해 필터 중요도를 정의하며, 이는 작은 데이터 배치를 사용해 각 필터의 특징 맵이 다음 레이어 출력에 기여하는 상대 기여도로 계산된다.
• 각 필터가 민감도 점수 비례로 샘플링되는 중요도 기반 샘플링 분포를 구성함으로써, 저분산 추정이 가능해진다.
• 이 분포에서 샘플링을 통해 필터를 프루닝하고, 샘플된 필터만 유지하여 더 얇고 구조적인 하위망을 형성한다.
• 프루닝 과정은 각 레이어별로 반복적으로 적용되며, 성능 유지 목적의 재학습을 거쳐 프루닝-재학습 순환을 형성한다.
• 이론적 분석을 통해 프루닝된 네트워크의 크기와 일반화 오차에 대한 증명 가능한 유계를 확립하며, 압축 가능성과 필터 중요도를 연결한다.
• 구조적 희소성에 기반한 필터 프루닝으로 인해 아키텍처 독립적이며 표준 딥러닝 프레임워크와 호환된다.

실험 결과

연구 질문

• RQ1 편향에 의존하지 않고 모델 정확도와 희소성에 대한 증명 가능한 보장을 제공하는 필터 프루닝 방법을 설계할 수 있는가?
• RQ2 실제 네트워크 출력에 미치는 영향을 반영하는 데이터 기반, 계산 효율적인 방식으로 필터 중요도를 어떻게 정량화할 수 있는가?
• RQ3 민감도 기반 샘플링을 사용해 압축 가능성과 성능에 대한 이론적 유계를 어느 정도 설정할 수 있는가?
• RQ4 하이퍼파라미터 없이 완전 자동화된 프루닝 절차를 개발할 수 있으며, 이는 기존 기법들보다 희소성과 정확도 측면에서 뛰어나게 성능을 낼 수 있는가?
• RQ5 민감도 기반 샘플링을 통한 필터 프루닝은 가중치 프루닝이나 크기 기반 방법보다 더 나은 일반화와 효율성을 달성하는가?

주요 결과

• ResNet20에서 이 방법은 43.16%의 파라미터 감소를 달성했으며, 원본 모델 대비 정확도 저하율은 0.04%에 불과했고, 오차율은 8.64%를 유지했다.
• ResNet110에서는 89.15%의 파라미터 감소와 86.97%의 FLOP 감소를 달성했으며, 테스트 오차율은 6.35%로 원본 모델보다 0.08% 우수했다.
• VGG16에서는 87.06%의 파라미터 감소를 달성했고, 오차율은 7.28%에서 7.17%로 감소하여 모든 베이스라인을 초월하는 희소성과 정확도를 확보했다.
• 모든 평가된 모델에서 이 방법은 가장 희소한 모델을 생성했으며, 테스트 오차율도 가장 낮았다. 특히 일부 경우에서 프루닝된 모델이 원본 모델의 정확도를 뛰어넘기도 하였다.
• 모든 평가 기준에서 He et al. (2019) 및 Li et al. (2016)과 같은 최신 기법들을 파라미터 감소, FLOP 감소, 오차 안정성 측면에서 일관되게 능가했다.
• 이론적 분석을 통해 더 낮은 민감도를 보이는(즉, 더 높은 압축 가능성) 레이어가 덜 중요한 것으로 확인되어, 필터 유지 우선순위 설정에 효과적으로 활용될 수 있었다.