[논문 리뷰] Dynamic Channel Pruning: Feature Boosting and Suppression

Xitong Gao, Yiren Zhao외 3명|arXiv (Cornell University)|2018. 10. 12.

Speech and Audio Processing참고 문헌 21인용 수 212

한 줄 요약

이 논문은 Feature Boosting and Suppression (FBS)을 도입합니다. 실행 시 salient convolutional channels를 예측하고 증폭하며 중요하지 않은 채널은 억제하는 동적 채널 가지치기 방법으로, 채널을 영구적으로 제거하지 않습니다.

ABSTRACT

Making deep convolutional neural networks more accurate typically comes at the cost of increased computational and memory resources. In this paper, we reduce this cost by exploiting the fact that the importance of features computed by convolutional layers is highly input-dependent, and propose feature boosting and suppression (FBS), a new method to predictively amplify salient convolutional channels and skip unimportant ones at run-time. FBS introduces small auxiliary connections to existing convolutional layers. In contrast to channel pruning methods which permanently remove channels, it preserves the full network structures and accelerates convolution by dynamically skipping unimportant input and output channels. FBS-augmented networks are trained with conventional stochastic gradient descent, making it readily available for many state-of-the-art CNNs. We compare FBS to a range of existing channel pruning and dynamic execution schemes and demonstrate large improvements on ImageNet classification. Experiments show that FBS can respectively provide $5 imes$ and $2 imes$ savings in compute on VGG-16 and ResNet-18, both with less than $0.6\%$ top-5 accuracy loss.

연구 동기 및 목표

• CNN 계산량을 입력 의존적 특징 중요성을 활용해 영구 채널 제거 없이 줄이는 동기를 부여합니다.
• 런타임에 중요한 채널을 동적으로 증폭하고 중요하지 않은 채널을 억제하기 위해 FBS를 제안합니다.
• 입력 인식 게이팅으로 전체 네트워크 용량을 보존하면서 상당한 속도 향상을 달성합니다.
• 표준 SGD로 동적 메커니즘의 엔드투엔드 학습을 가능하게 합니다.
• pruning 및 동적 실행 기준선과 비교하여 ImageNet(ResNet-18, VGG-16) 및 CIFAR-10에서 우수한 정확도/컴퓨트 트레이드오프를 보여줍니다.

제안 방법

• 이전 층 출력으로부터 채널 중요도를 추정하기 위해 작은 보조 예측기를 도입합니다.
• 각 컨볼루션 층을 런타임에 출력 채널을 확장하고 잠재적으로 억제하는 저오버헤드 정책 pi(x)에 의해 동적으로 조절되는 버전으로 대체합니다.
• 상위 dC_l 채널을 계산하기 위해 1-winner-take-all 스타일 함수를 사용합니다 (밀도 d가 트레이드를 제어합니다).
• subsampled previous-layer 활성화에서 g_l(x_{l-1})를 예측하기 위해 경량 fully connected 계층을 사용합니다.
• 표준 SGD와 함께 g_l(x_{l-1})에 대한 희소성 유도 L1 정규화를 추가로 학습합니다.
• 배치 정규화를 활용하여 컨볼루션 커널이 스케일링에 대해 불변하도록 하고 엔드-투-엔드 차분 가능한 학습을 가능하게 합니다.

실험 결과

연구 질문

• RQ1 FBS를 통한 동적 채널 게이팅이 대규모 데이터셋에서 정확도를 해치지 않으면서 계산량을 줄일 수 있나요?
• RQ2 FBS가 동일한 속도 증가 제약에서 정적 채널 가지치기 및 다른 동적 실행 방법과 비교할 때 이미지Net과 CIFAR-10에서 속도와 정확도 측면에서 어떤 차이가 있나요?
• RQ3 밀도 매개변수 d를 다양하게 변화시켰을 때 아키텍처 간 정확도와 MACs의 영향은 무엇인가요?
• RQ4 입력 의존적 중요도 예측기가 계층 및 모델 전반에 일반화되어 채널을 효과적으로 증폭/억제하나요?
• RQ5 추론 중 FBS의 메모리 및 대역폭 영향은 무엇인가요?

주요 결과

• FBS는 ResNet-18에서 최대 약 2배, VGG-16에서 최대 5배의 계산 절감을 달성하면서 ImageNet에서 top-5 정확도 손실이 0.6% 미만입니다.
• FBS는 동일한 속도 증가 제약 하에서 채널 가지치기 기준선(예: Network Slimming)을 지속적으로 능가합니다.
• FBS는 입력 및 출력 차원의 희소화를 가능하게 하여 메모리 접근 및 피크 메모리 사용을 줄이고 캐시 효율을 개선합니다.
• FBS를 가지치기(NS)와 결합하면 가지치기만으로 손실된 정확도의 상당 부분을 회복하여 바람직한 정확도/컴퓨트 트레이드오프를 제공합니다.
• 이 방법은 표준 SGD로 학습 가능하며 강화학습이나 맞춤형 학습 루프가 필요 없고 오픈소스입니다.