[논문 리뷰] Operation-Aware Soft Channel Pruning using Differentiable Masks

Min Soo Kang, Bohyung Han|arXiv (Cornell University)|2020. 07. 08.

Speech and Audio Processing인용 수 32

한 줄 요약

이 논문은 BN과 ReLU를 활용하여 채널을 가지치기하는 미분가능하고 데이터 기반의 방법으로, 모델 매개변수와 소프트 마스크를 함께 학습하여 추가 미세조정 없이 채널을 가지치고 비슷한 자원 예산에서 더 나은 정확도를 달성한다.

ABSTRACT

We propose a simple but effective data-driven channel pruning algorithm, which compresses deep neural networks in a differentiable way by exploiting the characteristics of operations. The proposed approach makes a joint consideration of batch normalization (BN) and rectified linear unit (ReLU) for channel pruning; it estimates how likely the two successive operations deactivate each feature map and prunes the channels with high probabilities. To this end, we learn differentiable masks for individual channels and make soft decisions throughout the optimization procedure, which facilitates to explore larger search space and train more stable networks. The proposed framework enables us to identify compressed models via a joint learning of model parameters and channel pruning without an extra procedure of fine-tuning. We perform extensive experiments and achieve outstanding performance in terms of the accuracy of output networks given the same amount of resources when compared with the state-of-the-art methods.

연구 동기 및 목표

• 깊은 신경망에서 채널 가지치기를 통해 별도의 미세조정 단계 없이 모델 압축을 동기화하고 달성한다.
• BN과 ReLU의 상호 작용을 활용하여 최소한의 정확도 손실로 확률적 채널 가지치기를 수행한다.
• 모델 매개변수와 채널 마스크를 함께 최적화하는 차별화된, 엔드-투-엔드 프레임워크를 개발한다.
• 제안된 방법이 데이터셋과 백본에 걸쳐 기존의 구조적 가지치기 방법보다 우수하다는 실증적 증거를 제공한다.

제안 방법

• 각 채널에 대해 BN 매개변수(beta, gamma)와 ReLU의 영향에 기반한 확률적 마스크를 정의한다.
• 연속화 가능한 로지스틱 함수를 사용해 이산 가지치기 마스크를 완화하고, differentiable 샘플링을 위해 Gumbel-Softmax를 활용한다.
• BN 계층을 수정해 확률적 마스크를 순전파에 포함시켜 마스크를 통해 역전파가 가능하도록 한다.
• BN 파라미터에 연결된 가우시안 분포의 CDF를 증가시켜 가지치기를 유도하는 희소성 손실을 도입한다.
• separte fine-tuning 단계 없이 네트워크를 엔드-투-엔드로 학습하여 모델 가중치와 마스크를 함께 최적화한다.

실험 결과

연구 질문

• RQ1 BN과 ReLU를 함께 사용해 채널 가지치기에 신뢰할 수 있는 확률적 판단기준을 제공할 수 있는가?
• RQ2 마스크와 매개변수를 함께 비선형적으로 학습하면 동일한 자원 제약 하에서 기존 가지치기 방법보다 더 나은 정확도를 얻을 수 있는가?
• RQ3 가우시안 신뢰구간과 함께하는 희소성 손실은 채널 축소와 성능에 어떤 영향을 미치는가?
• RQ4 differentiable하게 함께 학습되는 프레임워크를 통해 가지치기 시 미세조정이 불필요한가?

주요 결과

• 제안된 SCP 방법은 CIFAR-10/100에서 SFP, FPGM, Slimming, Variational Pruning보다 다양한 백본에서 정확도 하락이 더 낮다.
• CIFAR 데이터셋에서 SCP는 채널, 매개변수, FLOPs를 상당히 감소시키면서도 종종 기준 정확도에 근접하거나 더 나은 성능을 제공한다.
• ILSVRC-12에서 SCP는 상위 1위/상위 5위 하락이 경쟁력이 있고 FLOPs 감소도 크게 나타나며, 추가 미세조정 없이도 실제 속도 향상(~24% 추론 시간) 이 있다.
• ablation은 pruning 기준에 ReLU를 포함시키는 것이 BN만 사용하는 가지치기보다 성능을 향상시킨다는 것을 보여준다.
• 손실의 sparsity-λ를 증가시키면 일반적으로 FLOPs 감소가 더 크고 정확도에 미치는 영향은 다양하게 나타나 컨트롤 가능한 트레이드오프를 보여준다.