[논문 리뷰] Network Compression via Recursive Bayesian Pruning.

Yuefu Zhou, Ya Zhang외 2명|arXiv (Cornell University)|2018. 12. 02.

Advanced Neural Network Applications참고 문헌 18인용 수 2

한 줄 요약

이 논문은 드롭아웃 기반 노이즈 측정과 희박성 유도 딸랑이 유사 사전을 활용한 베이지안 프레임워크를 통해 상호층 간 채널 중복성을 모델링하는 새로운 채널 프루닝 방법인 Recursive Bayesian Pruning (RBP)을 제안한다. 추가적인 계산 오버헤드 없이 상호층 간 의존성을 고려한 계층별 프루닝을 가능하게 하여, VGG16에서는 ImageNet에서 최대 5.0× FLOPs 감소와 함께 정확도 손실가 최소화되고, ResNet50에서는 2.2× 감소를 달성한다.

ABSTRACT

Channel Pruning, widely used for accelerating Convolutional Neural Networks, is an NP-hard problem due to the inter-layer dependency of channel redundancy. Existing methods generally ignored the above dependency for computation simplicity. To solve the problem, under the Bayesian framework, we here propose a layer-wise Recursive Bayesian Pruning method (RBP). A new dropout-based measurement of redundancy, which facilitate the computation of posterior assuming inter-layer dependency, is introduced. Specifically, we model the noise across layers as a Markov chain and target its posterior to reflect the inter-layer dependency. Considering the closed form solution for posterior is intractable, we derive a sparsity-inducing Dirac-like prior which regularizes the distribution of the designed noise to automatically approximate the posterior. Compared with the existing methods, no additional overhead is required when the inter-layer dependency assumed. The redundant channels can be simply identified by tiny dropout noise and directly pruned layer by layer. Experiments on popular CNN architectures have shown that the proposed method outperforms several state-of-the-arts. Particularly, we achieve up to $\bf{5.0 imes}$ and $\bf{2.2 imes}$ FLOPs reduction with little accuracy loss on the large scale dataset ILSVRC2012 for VGG16 and ResNet50, respectively.

연구 동기 및 목표

• 상호층 간 중복 채널 간 의존성으로 인해 NP-완전성이 발생하는 CNN의 채널 프루닝 문제를 해결한다.
• 계산의 단순성을 위해 상호층 간 의존성을 忽시하는 기존 방법의 한계를 극복한다.
• 채널 중복성 내의 상호층 간 의존성을 반영하기 위해 노이즈를 마르코프 체인으로 모델링하는 베이지안 프레임워크를 개발한다.
• 추가적인 계산 비용 없이 효율적인 사후 근사화를 가능하게 하는 희박성 유도 딸랑이 유사 사전을 도입한다.
• 모델 정확도를 유지하면서 FLOPs를 크게 감소시키는 효과적인 계층별 채널 프루닝을 달성한다.

제안 방법

• 베이지안 프레임워크 하에서 사후 계산을 용이하게 하는 드롭아웃 기반의 채널 중복성 측정 방법을 제안한다.
• 프루닝 과정에서 계층 간 의존성을 명시적으로 캡처하기 위해 상호층 노이즈를 마르코프 체인으로 모델링한다.
• 노이즈 분포를 정규화하고 비가역적 사후 분포를 근사하기 위해 희박성 유도 딸랑이 유사 사전을 도입한다.
• 반복적 재학습이나 피취닝 없이 최소한의 드롭아웃 노이즈를 통해 중복 채널을 식별함으로써 계층별 프루닝을 가능하게 한다.
• 추가적인 추론 오버헤드 없이 사전과 가능도로부터 유도된 사후 분포를 활용해 프루닝 결정을 지도한다.
• 중복성 탐지와 모델 정확도 유지 간 균형을 고려한 베이지안 프레임워크 내에서 프루닝 목표를 수립한다.

실험 결과

연구 질문

• RQ1 베이지안 프레임워크가 계산 효율성을 유지하면서도 상호층 간 채널 중복성을 효과적으로 모델링할 수 있는가?
• RQ2 마르코프 체인 노이즈 모델을 통해 상호층 의존성을 통합함으로써 독립적 계층 프루닝에 비해 정확도와 효율성이 향상되는가?
• RQ3 희박성 유도 딸랑이 유사 사전이 계산 효율적인 방식으로 진짜 사후 분포를 얼마나 잘 근사할 수 있는가?
• RQ4 제안된 방법이 VGG16 및 ResNet50와 같은 다양한 CNN 아키텍처에서 상당한 FLOPs 감소를 달성하면서 정확도 손실가 최소화되는가?
• RQ5 기존 많은 접근 방식과 달리, 제안된 방법이 재학습 또는 피취닝이 추가로 필요 없이 프루닝 과정을 수행할 수 있는가?

주요 결과

• 제안된 RBP 방법은 ILSVRC2012 데이터셋에서 VGG16에 대해 최대 5.0× FLOPs 감소와 함께 정확도 손실가 거의 없이 달성된다.
• ResNet50의 경우, FLOPs를 최대 2.2× 감소시키면서도 높은 모델 정확도를 유지한다.
• 복잡한 상호층 간 의존성을 모델링함에도 불구하고 추가적인 계산 오버헤드 없이 효과적인 채널 프루닝을 가능하게 한다.
• 딸랑이 유사 사전의 사용은 효율적인 사후 근사화를 가능하게 하여, 실세계 CNN 압축에 실용적인 베이지안 프레임워크를 구현한다.
• 드롭아웃 기반의 중복성 측정은 상호층 간 의존성을 성공적으로 포착하여 더 정확한 프루닝 결정을 이끈다.
• 표준 벤치마크에서 몇 가지 최신 프루닝 기법보다 뛰어난 효율성과 정확도의 상호보완적 성능을 보이며, 우수한 성능을 입증한다.