[논문 리뷰] Accelerate CNN via Recursive Bayesian Pruning

Yuefu Zhou, Ya Zhang외 2명|arXiv (Cornell University)|2018. 12. 02.

Advanced Neural Network Applications참고 문헌 44인용 수 4

한 줄 요약

이 논문은 층 간 상관관계를 드롭아웃 노이즈를 마르코프 체인으로 간주함으로써 모델링하는 계층별 베이지안 채널 프루닝 방법인 Recursive Bayesian Pruning (RBP)을 제안한다. 이는 추가적인 오버헤드 없이 효율적이고 데이터 기반의 프루닝을 가능하게 한다. RBP는 VGG16에서 ImageNet에서 최대 5.0× FLOPs 감소를 달성하며 정확도 손실이 최소화되었고, ResNet50에서는 2.2× 감소를 기록하였다.

ABSTRACT

Channel Pruning, widely used for accelerating Convolutional Neural Networks, is an NP-hard problem due to the inter-layer dependency of channel redundancy. Existing methods generally ignored the above dependency for computation simplicity. To solve the problem, under the Bayesian framework, we here propose a layer-wise Recursive Bayesian Pruning method (RBP). A new dropout-based measurement of redundancy, which facilitate the computation of posterior assuming inter-layer dependency, is introduced. Specifically, we model the noise across layers as a Markov chain and target its posterior to reflect the inter-layer dependency. Considering the closed form solution for posterior is intractable, we derive a sparsity-inducing Dirac-like prior which regularizes the distribution of the designed noise to automatically approximate the posterior. Compared with the existing methods, no additional overhead is required when the inter-layer dependency assumed. The redundant channels can be simply identified by tiny dropout noise and directly pruned layer by layer. Experiments on popular CNN architectures have shown that the proposed method outperforms several state-of-the-arts. Particularly, we achieve up to $\bf{5.0 imes}$ and $\bf{2.2 imes}$ FLOPs reduction with little accuracy loss on the large scale dataset ILSVRC2012 for VGG16 and ResNet50, respectively.

연구 동기 및 목표

• 채널 프루닝에서 층 간 상관관계로 인해 부재성 식별이 복잡해지는 문제를 해결한다.
• 다양한 층 간 독립적인 채널을 가정하는 기존의 베이지안 프루닝 방법의 한계를 극복한다.
• 추가적인 계산 오버헤드 없이 층 간 상관관계를 포착하는 프루닝 프레임워크를 개발한다.
• 희소성 유도 사전을 사용한 베이지안 추론에 기반한 효율적이고 계층별 프루닝을 가능하게 한다.
• 빠른 피니터닝 이후 모델 성능 유지를 통해 모델 가속화와 데이터 적합성의 균형을 이룬다.

제안 방법

• 드롭아웃 노이즈를 층 간 마르코프 체인으로 모델링하여 베이지안 프레임워크 내에서 층 간 상관관계를 표현한다.
• 드롭아웃 노이즈의 분포를 정규화하고 비가역적 사후분포를 근사하기 위해 희소성 유도 딸랑크-유사 사전을 도입한다.
• 딸랑크-유사 사전을 사용한 변분 추론을 통해 근사적인 0에 가까운 드롭아웃 비율을 통해 불필요한 채널을 식별한다.
• 유도된 드롭아웃 비율에 기반해 추가 추론 비용 없이 계층별로 프루닝을 수행한다.
• 재구성 기법을 활용해 데이터 적합성을 향상시키고 프루닝 이후 빠른 피니터닝을 가능하게 한다.
• 첫 번째 층부터 시작해 층 간에 순차적으로 재귀적으로 적용함으로써 특징 맵 분포의 일관성을 유지한다.

실험 결과

연구 질문

• RQ1 베이지안 프루닝에서 채널의 불필요성에 대한 층 간 상관관계를 효과적으로 모델링할 수 있는가?
• RQ2 추가적인 계산 비용 없이 닫힌 형태의 사후 근사가 달성될 수 있는가?
• RQ3 드롭아웃 노이즈를 마르코프 체인으로 모델링하는 것이 독립적인 채널 가정에 비해 프루닝 정확도와 모델 효율성을 향상시키는가?
• RQ4 제안된 방법이 대규모 데이터셋에서 정확도를 유지하면서 FLOPs를 얼마나 감소시킬 수 있는가?
• RQ5 다양한 프루닝 비율에서 VGG16 및 ResNet50과 같은 다양한 아키텍처에서 이 방법의 성능은 어떠한가?

주요 결과

• RBP는 VGG16에서 ImageNet에서 최대 5.0× FLOPs 감소를 달성했으며, 상위 5위 정확도 손실은 2.2%에 그쳤다.
• ResNet50의 경우 FLOPs를 2.2× 감소시켰고, 상위 5위 정확도 손실은 2.9%로, 더 깊은 네트워크에서 강력한 가속 성능을 보였다.
• 재귀적 변형인 RRBP는 RBP보다 더 많은 4,000개의 채널을 제거하여 더 높은 프루닝 균일성과 강건성을 보였다.
• RRBP는 피니터닝 중 더 빠른 수렴을 보였으며, ResNet50-RRBP는 7번째 에포크에 성능을 복구했다.
• ResNet50의 최종 잔여 블록에서의 드롭아웃 비율은 0 또는 1에서 벗어나 있어 프루닝에 민감함을 보였으며, 실험적 관찰과 일치했다.
• 프루닝 이후 높은 데이터 적합성을 유지하여 단 몇 에포크의 피니터닝만으로도 성능을 신속하게 복구시켰다.