[논문 리뷰] Rethinking the Smaller-Norm-Less-Informative Assumption in Channel Pruning of Convolution Layers

Jianbo Ye, Xin Lu외 2명|arXiv (Cornell University)|2018. 01. 31.

Advanced Neural Network Applications인용 수 206

한 줄 요약

본 논문은 더 작은 노름 특성이 덜 informative하다는 가정에 의존하지 않는 CNN의 채널 가지치기 방법을 소개한다. gamma 매개변수를 end-to-end ISTA 기반으로 sparsification하여 채널을 게이트하고, gamma-W 재스케일링 트릭으로 짜임새 있는 모델을 얻으면서 파인튜닝 후 경쟁력 있는 정확도를 달성한다.

ABSTRACT

Model pruning has become a useful technique that improves the computational efficiency of deep learning, making it possible to deploy solutions in resource-limited scenarios. A widely-used practice in relevant work assumes that a smaller-norm parameter or feature plays a less informative role at the inference time. In this paper, we propose a channel pruning technique for accelerating the computations of deep convolutional neural networks (CNNs) that does not critically rely on this assumption. Instead, it focuses on direct simplification of the channel-to-channel computation graph of a CNN without the need of performing a computationally difficult and not-always-useful task of making high-dimensional tensors of CNN structured sparse. Our approach takes two stages: first to adopt an end-to- end stochastic training method that eventually forces the outputs of some channels to be constant, and then to prune those constant channels from the original neural network by adjusting the biases of their impacting layers such that the resulting compact model can be quickly fine-tuned. Our approach is mathematically appealing from an optimization perspective and easy to reproduce. We experimented our approach through several image learning benchmarks and demonstrate its interesting aspects and competitive performance.

연구 동기 및 목표

• CNN에서 가지치기를 위해 작은 노름 특성에 대한 의존성을 의문시한다.
• 채널-투-채널 계산 그래프를 직접 단순화하는 채널 가지치기 방법을 제안한다.
• 고차원의 구조적 희소성 대신 배치정규화의 스케일링 매개변수(gamma)를 희소화한다.
• 추가 매개변수 최소화 및 재현 용이한 엔드-투-엔드 가지치기를 가능하게 한다.
• 사전 학습된 네트워크를 가진 CIFAR-10 및 ImageNet 규모 모델에서 효과를 입증한다.

제안 방법

• CNN을 채널-투-채널 정보 흐름으로 모델링하고, 각 채널의 게이트를 batch normalization의 gamma로 제어한다.
• ISTA(Iterative Shrinkage-Thresholding Algorithm)를 사용하여 엔드-투-엔드 학습 중 gamma를 희소화하고 가지치기된 경로에 대해 일정한 출력을 갖는 채널을 촉진한다.
• 훈련 중 가지치기를 가속화하고 가지치기 후 스케일링을 되돌리기 위해 gamma-W 재스케일링 트릭을 적용한다.
• gamma[k]가 0이 되면 뒤따르는 층의 바이어스를 흡수/조정하여 기능을 보존하고 새로운 매개변수 없이 가지치기를 가능하게 한다.
• 결과적으로 컴팩트한 모델을 파인튜닝하여 약간의 성능 손실을 회복한다.
• 하이퍼파라미터 튜닝(mu, rho, alpha) 및 일정 채널 제거를 위한 잘라내기/후처리 단계에 대한 실용적 가이드를 제공한다.

실험 결과

연구 질문

• RQ1 채널 가지치기가 가중치 노름에 의존하지 않고 배치정규화의 스케일 매개변수(gamma)를 희소화함으로써 효과적으로 달성될 수 있는가?
• RQ2 엔드-투-엔드 ISTA 기반 γ 희소화가 표준 벤치마크에서 경쟁력 있는 정확도를 갖는 컴팩트한 CNN을 만들어내는가?
• RQ3 제안된 gamma-W 재스케일링 트릭이 pretrained 모델의 가지치기 속도 및 안정성에 어떤 영향을 미치는가?
• RQ4 CIFAR-10 및 ImageNet 규모 네트워크에서 가지치기 후 모델 크기와 연산량(FLOPs/parameters)에 미치는 실질적 효과는 무엇인가?
• RQ5 다양한 아키텍처와 프리트레이닝 시나리오(예: ResNet, Inception-like 모듈)에 대한 방법의 강건성은?

주요 결과

• 제안 방법은 CIFAR-10의 ConvNet 및 ResNet-20에서 매개변수 및 채널 감소를 크게 달성하면서 경쟁력 있는 정확도를 제공한다.
• ImageNet(ILSVRC2012)에서의 ResNet-101 가지치기 모델은 Top-5 오류 증가가 거의 없거나 0.5% 미만으로 큰 압축을 달성한다.
• gamma-W 재스케일링 트릭은 pretrained 모델의 가지치기를 가속화하여 원래 학습 시간의 일부만으로 가지치기를 가능하게 한다.
• 세그먼테이션 예시에서 가지치기가 다수의 데이터셋에서 파라미터와 FLOPs를 크게 감소시키면서 평균 IOU를 유지하거나 향상시켰다.
• 가지치기 효과는 과도한 매개변량화와 상관관계가 있으며, 포화된 네트워크에서의 공격적인 가지치기는 성능 저하를 초래할 수 있지만 과다 매개변수화된 기저에서 우호적인 트레이드오프를 보인다.