[논문 리뷰] Convolution-Weight-Distribution Assumption: Rethinking the Criteria of Channel Pruning

Zhongzhan Huang, Shao, Wenqi외 3명|arXiv (Cornell University)|2020. 04. 24.

Advanced Neural Network Applications참고 문헌 75인용 수 10

한 줄 요약

이 논문은 CNN의 기존 채널 프루닝 기준에 도전하며 두 가지 핵심적인 맹점인, 일반적으로 사용되는 기준들 간의 높은 유사성(예: ℓ₁, ℬ₂, 페르마)으로 인해 거의 동일한 구조의 프루닝 모델이 도출되며, 필터 중요도 점수의 부족한 구분 능력으로 인해 적용성이 떨어지는 문제를 규명한다. 저자들은 잘 훈련된 필터가 가우시안 유사 분포를 따른다는 '컨volution-웨이트-디스트리뷰션 가정'을 제안하고 이를 실증적으로 검증함으로써, 이 가정이 보다 효과적이고 구분 가능한 프루닝 기준을 가능하게 한다.

ABSTRACT

Channel pruning is a popular technique for compressing convolutional neural networks (CNNs), where various pruning criteria have been proposed to remove the redundant filters. From our comprehensive experiments, we found two blind spots in the study of pruning criteria: (1) Similarity: There are some strong similarities among several primary pruning criteria that are widely cited and compared. According to these criteria, the ranks of filters'Importance Score are almost identical, resulting in similar pruned structures. (2) Applicability: The filters'Importance Score measured by some pruning criteria are too close to distinguish the network redundancy well. In this paper, we analyze these two blind spots on different types of pruning criteria with layer-wise pruning or global pruning. The analyses are based on the empirical experiments and our assumption (Convolutional Weight Distribution Assumption) that the well-trained convolutional filters each layer approximately follow a Gaussian-alike distribution. This assumption has been verified through systematic and extensive statistical tests.

연구 동기 및 목표

• 기존 채널 프루닝 기준의 두 주요 맹점인 기준 간 높은 유사성과 중요도 점수의 모호한 구분으로 인한 낮은 적용성 문제를 규명하고 분석한다.
• ℓ₁ 및 ℬ₂ 프루닝이 유사하다는 일반적인 가정을 도전하며, 제안된 분포 가정 하에서 이들 기준이 상당한 차이를 보일 수 있음을 보여준다.
• 실증적 검증을 바탕으로 가우시안 유사 필터 가중치 분포를 바탕으로 한 새로운 이론적 기반인 '컨volution-웨이트-디스트리뷰션 가정'을 수립한다.
• 분포 기반 중요도 점수를 활용하여 프루닝 기준을 개선함으로써, 보다 효과적이고 구분 가능한 모델 압축을 이룬다.
• 현재 기준들이 종종 거의 동일한 프루닝 모델을 생성하므로, 프루닝 연구 분야에서의 방법론적 다양성의 가치가 훼손된다는 점을 입증한다.

제안 방법

• 컨볼루션-웨이트-디스트리뷰션 가정을 제안: 각 레이어의 잘 훈련된 컨볼루션 필터는 약간의 근사로 가우시안 유사 분포를 따르는 것으로 가정한다.
• VGG16, ResNet18, DenseNet 등 다양한 모델과 ImageNet, CIFAR, Cityscapes 등 다양한 데이터셋을 대상으로 광범위한 통계적 검증을 수행하여 가정을 검증한다.
• 다양한 모델에서 ℓ₁, ℬ₂, 페르마, GM 등의 기준에 따른 필터 중요도 점수의 순위 순서를 비교하여 프루닝 기준 간 유사성을 분석한다.
• 중요도 점수 분포를 레이어별로 시각화하여, 높은 겹침과 낮은 구분 능력을 보여주며 적용성 문제를 탐구한다.
• 일관된 훈련 및 피니팅 프rotocol를 기반으로 레이어별 및 글로벌 프루닝 전략을 사용하여 다양한 기준의 영향을 평가한다.
• 아키텍처, 초기화 방법, 정규화 기법, 작업 유형 등에 대한 아블레이션 스터디를 수행하여 제안된 가정의 강건성과 일반화 능력을 평가한다.

실험 결과

연구 질문

• RQ1 일반적으로 사용되는 프루닝 기준들(예: ℓ₁, ℬ₂, 페르마, GM)이 실제로 어떤 정도 다른 프루닝 구조를 도출하는가?
• RQ2 이론적 배경은 다르지만 왜 많은 프루닝 기준들이 여전히 거의 동일한 필터 프루닝 순서를 도출하는가?
• RQ3 다양한 CNN 아키텍처와 데이터셋에서 필터 가중치가 가우시안 유사 분포를 따르는 가정이 어느 정도 타당한가?
• RQ4 제안된 분포 가정은 기존 기준에 비해 보다 효과적이고 구분 가능한 프루닝 결과를 이끌 수 있는가?
• RQ5 필터 중요도 점수의 낮은 구분 능력은 채널 프루닝의 효과성에 어떤 영향을 미치는가?

주요 결과

• VGG16 및 ResNet18 등의 모델에서 ℓ₁, ℬ₂, 페르마, GM 기준에 따른 필터 중요도 점수의 순위가 거의 동일하여, 프루닝된 구조의 유사성이 높다는 것을 보여준다.
• BN_γ, Taylor ℬ₂, ℬ₂ 등 다양한 기준에서 유사한 크기의 중요도 점수가 레이어 전반에 걸쳐 분포하여, 부적절한 필터를 구분하기 어려운 문제를 드러내며 적용성 맹점이 명확해진다.
• 실증적 검증을 통해 15개 이상의 모델과 10개 이상의 데이터셋에서 잘 훈련된 컨볼루션 필터가 가우시안 유사 분포를 따름을 확인함으로써 컨볼루션-웨이트-디스트리뷰션 가정을 지지한다.
• 제안된 가정은 기존 기준이 훈련된 필터의 잠재적 통계적 구조를 충분히 활용하지 못한다는 점을 드러내며, 보다 체계적이고 효과적인 프루닝 접근법을 가능하게 한다.
• 간단한 기준인 ℓ₁ 및 ℬ₂도 항상 성능이나 프루닝 결과에서 유사하지 않으며, 일반적인 가정을 뒤집고 상대적 중요도가 절대 노름보다 더 중요하다는 점을 입증한다.
• 이 가정은 다양한 설정에서 타당성이 높다: 다양한 초기화 기법(Xavier, Kaiming, 직교), 정규화 유형(BatchNorm, 비-BN), 다양한 작업(분류, 세그멘테이션, GAN, 스타일 전이)에서 대부분의 경우 95% 이상의 성공률로 적용 가능하다.