[논문 리뷰] A novel channel pruning method for deep neural network compression

Yiming Hu, Siyang Sun외 3명|arXiv (Cornell University)|2018. 05. 29.

Anomaly Detection Techniques and Applications참고 문헌 30인용 수 65

한 줄 요약

이 논문은 사전 학습된 CNN에 대해 레이어별 프루닝을 사용하고 해시안 기반 적합도와 지식 증류 미세조정을 통해 정확도 손실을 최소화하면서 컴팩트한 모델을 얻는 유전 알고리즘 기반 채널 프루닝 방법을 제시한다.

ABSTRACT

In recent years, deep neural networks have achieved great success in the field of computer vision. However, it is still a big challenge to deploy these deep models on resource-constrained embedded devices such as mobile robots, smart phones and so on. Therefore, network compression for such platforms is a reasonable solution to reduce memory consumption and computation complexity. In this paper, a novel channel pruning method based on genetic algorithm is proposed to compress very deep Convolution Neural Networks (CNNs). Firstly, a pre-trained CNN model is pruned layer by layer according to the sensitivity of each layer. After that, the pruned model is fine-tuned based on knowledge distillation framework. These two improvements significantly decrease the model redundancy with less accuracy drop. Channel selection is a combinatorial optimization problem that has exponential solution space. In order to accelerate the selection process, the proposed method formulates it as a search problem, which can be solved efficiently by genetic algorithm. Meanwhile, a two-step approximation fitness function is designed to further improve the efficiency of genetic process. The proposed method has been verified on three benchmark datasets with two popular CNN models: VGGNet and ResNet. On the CIFAR-100 and ImageNet datasets, our approach outperforms several state-of-the-art methods. On the CIFAR-10 and SVHN datasets, the pruned VGGNet achieves better performance than the original model with 8 times parameters compression and 3 times FLOPs reduction.

연구 동기 및 목표

• 자원 제약이 있는 장치에서 CNN을 배포하기 위한 모델 압축의 필요성 제시.
• 채널 선택을 조합 최적화 문제로 다루는 채널 프루닝 방법 개발.
• 정보를 이용한 가지치기와 효과적인 미세 조정을 통해 정확도 손실을 최소화하며 모델 중복 제거.
• 감도 기반의 계층별 프루닝 비율과 지식 증류를 이용한 회복 전략을 탐구하여 계층별 프루닝을 검토.

제안 방법

• 합성곱 커널을 채널 보유 결정의 이진 염색체로 인코딩한다.
• 엘리트 선택, 룰렛 휠 선택, 단일 지점 교차, 돌연변이를 사용한 유전 알고리즘으로 채널 부분집합을 탐색한다.
• 계층별 오차 근사와 2차 테일러 전개를 이용한 세 가지 항의 빠르고 효율적인 적합도 함수를 사용해 프루닝 영향을 추정한다.
• Pruning 대상의 채널 민감도를 계산하기 위해 H = (1/N) sum_i X_i X_i^T 형태의 해시안(Hessian)을 근사한다.
• 레이어의 민감도에 따라 그룹화된 프루닝 비율을 할당하고, 계층별로 순차적으로 프루닝한 뒤 지식 증류로 파인튜닝한다.
• 어텐션 맵 정렬(attention-map alignment)을 이용한 교사 모델(원본)과의 학습을 통해 프루닝된 네트워크를 파인튜닝한다.

실험 결과

연구 질문

• RQ1 유전 알고리즘이 지수적으로 확장되는 채널 프루닝 공간을 효과적으로 탐색하여 큰 정확도 손실 없이 컴팩트한 CNN 아키텍처를 식별할 수 있는가?
• RQ2 해시안 정보를 활용한 2차 적합도 함수가 1차 차수 기준이나 휴리스틱 기준에 비해 프루닝 효율성과 최종 정확도를 개선하는가?
• RQ3 계층별(그룹화된) 민감도 기반 프루닝이 CIFAR, SVHN, ImageNet에서 VGGNet과 ResNet의 성능/압축 트레이드오프에 어떠한 영향을 미치는가?
• RQ4 프루닝 후 지식 증류 기반 파인튜닝이 표준 파인튜닝에 비해 회복을 개선하는가?
• RQ5 레이어별 순차 제거와 이후의 파인튜닝이 다수의 데이터셋에서 VGGNet, ResNet 두 백본에 대해 호환되는가?

주요 결과

• 제안된 유전 알고리즘 채널 프루닝 방법이 CIFAR-100 및 ImageNet에서 다수의 최첨단 채널 선택 전략을 능가한다.
• CIFAR-10 및 SVHN에서 프루닝된 VGGNet이 매개변수 수와 FLOP를 크게 감소시키면서 정확도가 유지되거나 향상된다.
• 감응도 그룹화를 통한 계층별 프루닝은 더 깊고 중복된 계층에서 공격적으로 프루닝하는 반면 민감한 계층의 정확도를 보존한다.
• 지식 증류 기반 파인튜닝(KD-FT)은 표준 파인튜닝에 비해 특히 높은 압축률에서 측정 가능한 정확도 향상을 제공한다.
• 본 접근법은 CIFAR, SVHN, ImageNet을 포함한 여러 도메인에서 VGGNet 및 ResNet 모두에서 효과적인 압축을 보여준다.