[논문 리뷰] Channel Pruning for Accelerating Very Deep Neural Networks

Yihui He, Xiangyu Zhang외 1명|arXiv (Cornell University)|2017. 07. 19.

Advanced Neural Network Applications참고 문헌 45인용 수 351

한 줄 요약

이 논문은 LASSO 기반 채널 선택과 최소제곱 재구성을 사용하여 인퍼런스 시 채널 가지치기를 통해 매우 깊은 CNN을 가속화하고, VGG-16, ResNet, Xception 아키텍처에서 정확도 손실을 최소화하면서 상당한 속도 향상을 달성한다.

ABSTRACT

In this paper, we introduce a new channel pruning method to accelerate very deep convolutional neural networks.Given a trained CNN model, we propose an iterative two-step algorithm to effectively prune each layer, by a LASSO regression based channel selection and least square reconstruction. We further generalize this algorithm to multi-layer and multi-branch cases. Our method reduces the accumulated error and enhance the compatibility with various architectures. Our pruned VGG-16 achieves the state-of-the-art results by 5x speed-up along with only 0.3% increase of error. More importantly, our method is able to accelerate modern networks like ResNet, Xception and suffers only 1.4%, 1.0% accuracy loss under 2x speed-up respectively, which is significant. Code has been made publicly available.

연구 동기 및 목표

• 추론 시간에 매우 깊은 CNN을 가속화하기 위한 실용적인 채널 가지치기 방법을 모티브로 하고 개발한다.
• 피처 맵 채널을 계층별로 줄이면서 재구성 오차를 제어한다.
• 다-branched 아키텍처(예: ResNet, Xception)와의 호환성을 보장한다.
• ImageNet 및 기타 데이터셋에서 현대 네트워크(VGG-16, ResNet-50, Xception-50)의 효과를 보여준다.
• 가지치기가 더 큰 속도 향상을 위해 다른 효율 기술과 결합될 수 있음을 보여준다.]
• method=[
• Eq. 5를 계층별 가지치기를 적용하여 누적 오차를 설명한다.
• 다중 분기 네트워크에 대한 접근 방식을 확장하여 공유 경로에서 입력 채널을 샘플링/가지치고 잔여 블록의 마지막 층을 다루어 Y1+Y2를 회복한다(Sec. 3.3).
• 잔여 연결을 더 잘 처리하기 위한 다중 분기 개선 variants를 도입한다(Sec. 3 Last layer and Sec. 3 First layer).
• 정밀도 회복을 위해 가지치기된 모델을 짧게 미세조정하고(보고된 대로 10-20 에폭) 처음부터 학습하는 baselines와 비교한다.

제안 방법

• 가지치기를 입력 채널의 가지치기 후 출력 특징 맵의 재구성 오차를 최소화하는 것으로서의 채널 가지치기 공식화( Eq. 1 ).
• NP-해의 l0 희소성 문제를 l1 페널티로 완화하고 LASSO를 통해 채널 선택을 교대로 해결하며( Eq. 3 ) 남은 출력 값을 최소제곱으로 재구성한다( Eq. 4 ).
• 누적 오차를 고려하기 위해 계층별 가지치기를 순차적으로 적용한다( Eq. 5 ).
• 공유 경로에서 입력 채널을 샘플링/가지치고 잔여 블록의 마지막 층을 다루어 Y1+Y2를 회복하는 방식으로 다-branched 네트워크에 대한 접근을 확장한다( Sec. 3.3 ).
• 잔여 연결을 더 잘 처리하기 위한 다중 분기 개선이 제시되었고( Sec. Last layer 및 Sec. First layer ),
• 가지치된 모델을 짧게 미세조정하여 정확도를 회복시키고(보고된 대로 10-20 epochs) 처음부터 학습하는 baselines와 비교한다.

실험 결과

연구 질문

• RQ1 채널을 재학습 없이 추론 시간에 가지치고도 정확성을 보존할 수 있는가?
• RQ2 채널 간의 상관 관계를 활용하여 대표 채널을 선택하고 출력을 정확히 재구성할 수 있는가?
• RQ3 단일 분기 네트워크(VGG-16)와 다중 분기 아키텍처(ResNet, Xception)에서 방법은 어떻게 성능을 발휘하는가?

주요 결과

• 제안된 방법은 텐서 분해와 결합할 경우 VGG-16에서 0.3%의 top-5 오류 증가로 최대 5배의 가속을 달성한다(그리고 정확도 손실이 작은 경우 4배 이상).
• ResNet-50 및 Xception-50의 경우 각각 약 2배의 속도 향상을 달성하며 정확도 손실은 각각 1.4%와 1.0%이다(미세조정 여부에 따라 다름).
• 제안된 접근으로 한 번에 두 개의 층을 가지치면 단일 층 가지치기 기법보다 항상 재구성 오차에서 더 좋게 나타난다(첫 번째 k채널, 최대 반응 기준 대조군).
• 순차적로 계층별 가지치기와 누적 오차를 고려한 방법은 특수 라이브러리 없이도 경쟁력 있는 절대 GPU 속도 향상을 제공한다(표 3).
• 다 branched 개선은 잉여 경로를 더 잘 다루어 잔여 블록에서 가지치기 효과를 향상시킨다(ResNet-50의 top-5 정확도에서 개선 4.0%).
• 채널 가지치기와 공간 및 채널 분해(3C)를 결합하면 가장 큰 감소를 보이며(예: VGG-16에서 4x 또는 5x) 상대적으로 작은 정확도 손실과 함께 나타난다.